KI im Softwaretesten ist längst mehr als ein bisschen ChatGPT für Testfallformulierungen. Wir lassen uns Testfälle generieren, Testergebnisse analysieren und Fehler klassifizieren. Das funktioniert mal mehr, mal weniger gut. Das ist für Tester nichts neues. Dass wir Arbeitsergebnisse prüfen, ist einer der Grundpfeiler unserer Tätigkeiten und das machen wir natürlich auch für KI-generierte Inhalte. Die Frage ist nur wieviel wir eigentlich prüfen und wie sehr wir den generierten Inhalten trauen bzw. wieviel Kapazitäten wir eigentlich haben die schiere Masse an schnell generierten Inhalten uns näher anzugucken.

Genau an dieser Stelle helfen uns die drei Konzepte Human-in-the-Loop, Human-on-the-Loop und Human-out-of-the-Loop. Sie beschreiben, wie viel Verantwortung beim Menschen bleibt – und wie viel wir der KI überlassen.

Human-in-the-Loop: Der Mensch entscheidet

Beim Human-in-the-Loop liefert die KI Vorschläge. Der Mensch prüft sie und trifft anschließend die Entscheidung. Das klingt zunächst wenig spektakulär, ist für kritische Testaufgaben aber genau der richtige Ansatz.

Ein Beispiel Eine KI leitet aus einer Anforderung zum Zurücksetzen eines Passworts mehrere Testfälle ab:

  • gültige E-Mail-Adresse,
  • ungültiger Bestätigungscode,
  • abgelaufener Code,
  • zu viele Reset-Versuche.

Das ist ein guter Anfang. Aber deckt die Liste auch Sicherheitsaspekte ab? Was passiert bei einem deaktivierten Benutzerkonto? Gibt es eine Rate-Limit-Prüfung? Werden Fehlermeldungen möglicherweise zur Benutzeraufzählung missbraucht? Ein Tester prüft die Vorschläge, ergänzt fehlende Szenarien und entscheidet, welche Testfälle tatsächlich übernommen werden. Kernkompetenzen wie kritisches Hinterfragen sind hier mehr denn je gefragt. Die KI hilft also bei der Vorbereitung. Die fachliche Verantwortung bleibt beim Menschen. Im Übrigen gilt das bei allen drei Ansätzen. Ergebnisverantwortlich ist ein Mensch.

Typische Einsatzgebiete:

  • finale Release-Freigaben,
  • sicherheitskritische Tests,
  • Bewertung kritischer Defekte,
  • Abnahme KI-generierter Testfälle.

Human-on-the-Loop: Der Mensch überwacht

Beim Human-on-the-Loop arbeitet die KI weitgehend selbstständig. Wir prüfen nicht mehr jede einzelne Aktion, sondern beobachten den Prozess und aggregierte Ergebnisse. Wir greifen dann ein, wenn etwas aus dem Ruder läuft. Das ist besonders dann sinnvoll, wenn große Mengen wiederkehrender Testaufgaben anfallen. Niemand möchte jeden einzelnen automatisierten Regressionstest manuell bestätigen. Das wollten wir bisher bei der Automatisierung von Tests nicht und wirklich anfangen wollen wir hier damit auch nicht. Niemand sollte aber auch einfach wegschauen, wenn sich die Ergebnisse plötzlich auffällig verändern, auch das ist etwas, was wir bisher bei Testsuiten bereits auch schon machen.

Ein Beispiel Nach jedem Build priorisiert und startet eine KI automatisch die wichtigsten Regressionstests. Während der Ausführung stellt sie fest, dass die Fehlerrate deutlich gestiegen ist, und stoppt die Pipeline.

Jetzt kommt der Tester ins Spiel. Er untersucht die betroffenen Tests und klärt, ob es sich um:

  • einen echten Produktfehler,
  • ein Infrastrukturproblem,
  • veraltete Testdaten,
  • oder einen fehlerhaften Test handelt.

Die KI übernimmt also die Überwachung und reagiert auf Auffälligkeiten. Der Mensch muss nicht ständig daneben sitzen, sollte aber jederzeit eingreifen können, zumindest während der definierten Arbeitszeiten so ich denn keine Rufbereitschaft habe. Dafür braucht es klare Regeln: Ab welchen Schwellenwerten wird alarmiert? Wann wird eine Pipeline angehalten? Wer wird informiert? Und wie lässt sich nachvollziehen, warum die KI überhaupt reagiert hat?

Typische Einsatzgebiete:

  • Regressionstests,
  • Performance-Tests,
  • visuelle Vergleiche,
  • Überwachung von Testpipelines,
  • Erkennung von Anomalien.

Human-out-of-the-Loop: Der Mensch auditiert

Beim Human-out-of-the-Loop läuft der Prozess vollständig autonom. Der Mensch greift während der Ausführung nicht ein, sondern prüft die Ergebnisse später – etwa durch Audits, Stichproben oder im Worst Case durch Fehlertickets aus der Produktivumgebung. Das ist der größte Freiheitsgrad für KI-Aufgaben und deshalb nicht für jede Testaufgabe geeignet. Für klar abgegrenzte und risikoarme Prüfungen kann er aber durchaus sinnvoll sein.

Ein Beispiel Nach jedem Deployment prüft eine KI automatisch, ob:

  • die Anwendung erreichbar ist,
  • der Login funktioniert,
  • zentrale APIs antworten,
  • die Datenbankverbindung besteht.

Die Ergebnisse werden automatisch dokumentiert. Das Team kontrolliert regelmäßig stichprobenartig, ob diese Prüfungen noch korrekt funktionieren. Der Mensch entscheidet in diesem Fall also nicht über jedes einzelne Ergebnis. Er stellt vielmehr sicher, dass der automatisierte Prozess insgesamt zuverlässig bleibt. Das setzt allerdings einiges voraus: Die Aufgabe muss klar definiert sein, die Auswirkungen eines Fehlers müssen überschaubar bleiben und sämtliche Entscheidungen müssen später nachvollziehbar sein. Außerdem braucht es einen Notfallmechanismus, mit dem sich die KI-Prozesse schnell stoppen lassen. Wer möchte schon Skynet?

Typische Einsatzgebiete:

  • einfache Smoke-Tests,
  • technische Verfügbarkeitschecks,
  • standardisierte Formatprüfungen,
  • risikoarme Testdatenbereinigung.

TL;DR:

  • Human-in-the-Loop: Die KI schlägt vor, der Mensch entscheidet.
  • Human-on-the-Loop: Die KI arbeitet, der Mensch überwacht.
  • Human-out-of-the-Loop: Die KI arbeitet autonom, der Mensch prüft nachgelagert.

Die entscheidende Frage lautet nicht: „Wie viel schafft die KI?“ und auch nicht „Wie viele Tester kann die KI ersetzen?“ sondern:

„Welche Entscheidung darf die KI in diesem konkreten Testprozess wirklich allein treffen?“

Je größer das Risiko einer falschen Entscheidung, desto näher sollte der Mensch an der Entscheidung bleiben. KI ersetzt im Testen also nicht einfach den Menschen. Sie verschiebt seine Rolle: weg vom manuellen Abarbeiten, hin zum Entscheiden, Überwachen und Auditieren automatisierter und KI-gestützter Testprozesse.