KI-Chatbot testen: Leitfaden für Testautomatisierung

Warum klassische Testmethoden bei nicht-deterministischer KI an ihre Grenzen stoßen

Klassische Softwaretests basieren häufig auf einem deterministischen Prinzip: Eine bestimmte Eingabe führt zu einem erwarteten Ergebnis. Der Test kann anschließend prüfen, ob das tatsächliche Ergebnis mit diesem Sollwert übereinstimmt.

Bei einem generativen KI-System gibt es dagegen häufig nicht die eine einzig richtige Antwort. Selbst bei identischer Eingabe kann das Modell unterschiedliche Formulierungen oder Antworten erzeugen. Ein einfacher Vergleich von Soll- und Ist-Wert reicht deshalb nicht mehr aus.

Die zentrale Frage verändert sich damit:

Nicht: „Hat die KI exakt die erwartete Antwort geliefert?“ Sondern: „Hat die KI eine qualitativ gute und passende Antwort geliefert?“

Damit verschiebt sich auch die Aufgabe der Testautomatisierung. Statt einzelne Antworten gegen starre Musterantworten zu prüfen, müssen Qualitätskriterien definiert und automatisiert bewertet werden.

Was sollte man bei einem KI-Chatbot testen?

Der erste Schritt beim Testing von KI ist deshalb die Definition dessen, was überhaupt als gute Antwort gilt.

Bei einem Chatbot können beispielsweise folgende Kriterien relevant sein:

• Fachliche Korrektheit: Ist die Antwort inhaltlich richtig?
• Sprache: Antwortet der Chatbot in der erwarteten Sprache?
• Kontextbezug: Berücksichtigt die Antwort den bisherigen Gesprächsverlauf?
• Nutzerintention: Hat der Chatbot verstanden, was die Nutzerin oder der Nutzer eigentlich erreichen möchte?
• Angemessenheit: Enthält die Antwort unangemessene oder beleidigende Inhalte?

Diese Kriterien bilden die Grundlage für die spätere automatisierte Bewertung.

Das ist ein wichtiger Unterschied zum klassischen Testing: Testing von KI beginnt nicht mit dem Testframework, sondern mit einer möglichst klaren Definition von Qualität.

Nicht nur einzelne Antworten testen, sondern komplette Dialoge

Bei einem Chatbot reicht es außerdem nicht aus, einzelne Fragen isoliert zu testen.

Die Qualität eines Chatbots zeigt sich häufig erst im Verlauf eines Gesprächs. Eine Antwort kann für sich genommen korrekt sein, aber trotzdem falsch wirken, wenn der Chatbot zuvor genannte Informationen vergessen hat oder die Nutzerintention aus dem bisherigen Dialog nicht mehr berücksichtigt.

Gerade längere Konversationen stellen deshalb eine besondere Herausforderung dar. Sprachmodelle können in einzelnen Fällen den Gesprächskontext verlieren. Dadurch entstehen inkonsistente Antworten und Testergebnisse, die sich schwer reproduzieren lassen. Identische Eingaben können unterschiedliche Ergebnisse erzeugen – ein Verhalten, das bei automatisierten Tests zu sogenannten flaky Tests führen kann.

Für die Testautomatisierung bedeutet das: Ein guter KI-Test prüft nicht nur eine Antwort, sondern den gesamten Gesprächsverlauf.

Die Testfälle können deshalb komplette Konversationen abbilden und beispielsweise mehrere aufeinander aufbauende Dialogschritte enthalten. So lässt sich überprüfen, ob der Chatbot den Kontext über das gesamte Gespräch hinweg korrekt verarbeitet.

Qualitätskriterien statt starrer Musterantworten

Wenn es nicht die eine korrekte Antwort gibt, braucht es eine andere Form der Bewertung.

Anstatt beispielsweise zu definieren: „Auf diese Frage muss exakt diese Antwort folgen.“ kann ein Test festlegen: „Die Antwort muss fachlich korrekt sein, die Nutzerintention erfüllen und den bisherigen Gesprächskontext berücksichtigen.“

Damit wird aus einem klassischen Soll-Ist-Vergleich eine qualitative Evaluation.

Für diese Bewertung können die generierten Antworten anhand zuvor definierter Kriterien analysiert werden. Im beschriebenen Ansatz übernimmt diese Aufgabe unter anderem DeepEval. Bewertet werden beispielsweise Relevanz, Sprachqualität, Kontextbezug und das Antwortverhalten des Chatbots.

Kann eine KI eine andere KI testen?

Eine interessante Möglichkeit besteht darin, eine zweite KI als Evaluator einzusetzen.

Der Ablauf sieht vereinfacht so aus:

Nutzeranfrage → KI-Chatbot erzeugt eine Antwort → KI-basierter Evaluator bewertet die Antwort → Testergebnis

Die erste KI erzeugt also die Antwort, während eine zweite KI beurteilt, ob diese Antwort die zuvor definierten Qualitätsanforderungen erfüllt.

Damit entsteht ein mehrstufiger Validierungsprozess: Eine KI unterstützt dabei, die Qualität der Ergebnisse einer anderen KI zu beurteilen. Der Vorteil besteht darin, dass nicht zwingend eine einzige Musterantwort hinterlegt werden muss. Stattdessen kann die Bewertung auf Kriterien wie Relevanz, Sprachqualität oder Kontextbezug ausgerichtet werden.

Gerade für generative Systeme ist dieser Ansatz interessant, weil er die Variabilität der Antworten berücksichtigt.

KI-Testing mit BDD und Gherkin

Damit aus diesen Qualitätsanforderungen automatisierte Tests werden, müssen die Testszenarien strukturiert beschrieben werden.

Ein möglicher Ansatz ist Behavior Driven Development (BDD) mit Gherkin. Dabei werden fachliche Anforderungen und Gesprächsverläufe in Form von Testszenarien beschrieben.

Für einen Chatbot bedeutet das insbesondere, dass sich komplette Dialogabläufe als Szenarien abbilden lassen. Die Tests beschreiben also nicht nur einzelne Eingaben, sondern können einen mehrstufigen Gesprächsverlauf und die daran geknüpften fachlichen Erwartungen definieren.

Das schafft gleichzeitig eine Verbindung zwischen fachlichen Anforderungen und technischer Testautomatisierung.

Von der Testspezifikation zur automatisierten Testausführung mit Behave

Aus den beschriebenen Szenarien kann anschließend eine automatisierte Testpipeline entstehen.

Im beschriebenen Ansatz übernimmt Behave als Python-Framework die Ausführung der BDD-basierten Gherkin-Szenarien. Die automatisierten Tests werden über eine GitLab-CI/CD-Pipeline ausgeführt.

Nach jedem Testlauf werden HTML-Reports erzeugt. Diese strukturieren die Ergebnisse nach Features und Szenarien und ermöglichen dadurch eine schnelle Analyse der Testergebnisse.

Damit lässt sich der Ablauf vereinfacht als Prozess darstellen:

Anforderungen → Gherkin-Szenarien → automatisierte Testausführung mit Behave → generierte Chatbot-Antworten → Bewertung mit DeepEval → CI/CD-Pipeline → Testreport

Der entscheidende Punkt dabei: Die Testautomatisierung prüft nicht nur, ob ein technischer Prozess funktioniert, sondern bewertet die Qualität der generierten Antworten anhand definierter Kriterien.

Kann KI auch bei der Erstellung der Tests helfen?

Die Automatisierung kann sogar noch einen Schritt früher beginnen.

Neben der Bewertung der Chatbot-Antworten kann künstliche Intelligenz auch bei der Erstellung der Testfälle eingesetzt werden.

Im beschriebenen Ansatz liegen die fachlichen Anforderungen in Confluence vor. Darauf aufbauend wurde ein GitHub-Copilot-Skill entwickelt, der Gherkin-Features und Testszenarien automatisch generiert. Die KI analysiert die Anforderungen und erzeugt daraus strukturierte Szenarien für die Testautomatisierung.

Dadurch verschiebt sich der Einsatz von KI im Entwicklungsprozess noch weiter nach vorne:

Fachliche Anforderung → KI unterstützt bei der Erstellung des Tests → automatisierter Test → KI-Anwendung erzeugt Ergebnis → KI unterstützt bei der Bewertung

Gerade bei einer großen Anzahl von Anforderungen kann die automatisierte Erstellung von Testszenarien Zeit sparen und für eine konsistentere Struktur der Testfälle sorgen.