Testen von KI-gestützten Applikationen

Kursziele

Diese zweitägige Schulung vermittelt intensiv und praxisnah, wie das Testen von KI-gestützten Applikationen in modernen Softwareprojekten gelingt. Während klassische Software auf deterministischen Logiken basiert, bringen moderne KI-Systeme wie Chatbots, Assistenten, RAG-Systeme und Agenten völlig neue Herausforderungen mit sich.

In dieser Schulung lernen Sie, wie Sie mit Nicht-Determinismus, Kontextabhängigkeiten und dem sogenannten Orakel-Problem professionell umgehen.

Sie erfahren, wie Sie typische Fehlerbilder wie Halluzinationen oder Tonalitätsprobleme gezielt aufdecken und robuste Teststrategien über die gesamte Testpyramide hinweg etablieren. Neben funktionalen Tests und dem Einsatz moderner Open-Source-Frameworks wie DeepEval liegt ein starker Fokus auf Security, Red Teaming und der Integration von automatisierten Evaluierungs-Pipelines in Ihre CI/CD-Landschaft. Praxisnahe Übungen an einem echten Beispiel-Chatbot sowie wertvolle Einblicke in das Produktions-Monitoring runden den Kurs ab.

Kursagenda

1. KI-gestützte Applikationen verstehen und testen

• Gemeinsames Verständnis: Chatbots, Assistenten, RAG-Systeme und Agenten
• Architektur-Deep-Dive: Prompt $\to$ LLM $\to$ Antwort $\to$ Nutzer
• Paradigmenwechsel: Warum klassisches Testen für KI-gestützte Apps nicht ausreicht
• Die Kernherausforderungen: Nicht-Determinismus, Kontextabhängigkeit und das Orakel-Problem
• Typische Fehlerbilder: Halluzinationen, Themenverfehlung, Tonalitätsprobleme, unsichere Antworten
• Praxis-Demo: Unser Beispiel-Chatbot – Funktionen, Architektur und bekannte Schwächen

2. Teststrategien für KI-gestützte Applikationen

• Die KI-Testpyramide: Von der Komponente über Integration und System bis zu E2E und Akzeptanz
• Prüfbereiche im Fokus: Prompt-Logik, Retrieval, Modellverhalten, Guardrails und UX
• Metamorphes Testen: Konsistente Antworten bei ähnlichen Eingaben sicherstellen
• Property-Based Testing: Invarianten definieren (z. B. Ausschluss von Konkurrenz-Empfehlungen)
• Multidimensionale Bewertungskriterien: Relevanz, Korrektheit, Vollständigkeit, Tonalität und Sicherheit
• Golden Datasets: Aufbau und Pflege von Referenz-Frage-Antwort-Paaren
• Übung: Teststrategie für den Beispiel-Chatbot entwerfen – Testarten, Prioritäten und Risiken

3. Funktionale Tests für LLM-basierte Chatbot-Anwendungen

• Systematisches Testen von Konversations-Szenarien: Happy Path, Edge Cases und Grenzfälle
• Multi-Turn-Dialoge: Prüfung des Kontexterhalts über mehrere Nachrichten hinweg
• Routing im Test: Überprüfung von Intent-Erkennung und Themen-Zuweisung
• Antwortqualität bewerten: Manuelle versus automatisierte Evaluation
• LLM-as-a-Judge: Ein LLM bewertet die Antworten eines anderen
• LLM-as-a-User: Adaptive Simulation der Nutzerreaktionen
• Einsatz von OpenSource Frameworks wie DeepEval zur Anwendung von LLM-as-a-User und LLM-as-a-Judge
• Übung: Testfälle für typische Chatbot-Szenarien schreiben und automatisiert auswerten

4. Robustheit, Sicherheit & Adversarial Testing

• Prompt-Injection: Angriffe verstehen und Abwehrmechanismen validieren
• Jailbreaking-Versuche: Den Chatbot gezielt aus seiner Rolle bringen
• Extreme Grenzfälle: Unerwartete Eingaben, Fremdsprachen, Sonderzeichen und Überlängen
• Toxizitäts- und Bias-Tests: Diskriminierende oder unangemessene Antworten sicher erkennen
• Red Teaming im Einsatz: Systematisches Angreifen des eigenen Chatbots
• Guardrails auf dem Prüfstand: Content-Filter, Themen-Einschränkungen und PII-Erkennung (Datenschutz)
• Übung: Red-Teaming-Session – Unseeren-Chatbot angreifen und Schwachstellen dokumentieren

5. Testautomatisierung & Testauswertung für KI-Applikationen

• Automatisierte Regressionstests für dynamische Chatbot-Antworten
• Evaluierungs-Pipelines in CI/CD integrieren
• Versionierung im Griff: Umgang mit Prompts, Testdaten und Evaluierungsergebnissen
• Schwellenwerte für nicht-deterministische Metriken definieren und kontinuierlich nachjustieren
• Best Practices für den Umgang mit schwankenden Ergebnissen in der Testautomatisierung
• Veränderte Anforderungen an das Testreporting: Multidimensionale Metriken und Test-Matrizen
• Effizienzsteigerung: Einsatz von LLMs für eine beschleunigte Testautomatisierung und Berichterstattung
• Übung: Automatisierte Regressions Tests samt Reporting für LLM-Chatbot aufsetzen

6. Monitoring & Continuous Testing in Produktion

• Produktions-Monitoring: Antwortqualität kontinuierlich messen
  
• Einsatz von Open-Telementry zur Anreicherung der Testprüfungen
• User-Feedback als Testquelle nutzen (Thumbs up/down, Eskalationen)
• Drift-Erkennung: Verschlechtert sich die Qualität über Zeit?
• A/B-Testing: Prompt-Varianten und Modell-Updates vergleichen
• Alerting: Wann muss eingegriffen werden?
• Feedback-Loop: Aus Produktionsdaten neue Testfälle generieren

7. Best Practices & Empfehlungen

• Zusammenfassung & Lessons Learned
• Checkliste: „So teste ich meine KI-gestützte Applikation“
• Q&A und Erfahrungsaustausch

Zielpublikum

Dieser Kurs ist für folgende Rollen geeignet:

• Tester
• QA-Engineers
• Testmanager
• Softwareentwickler
• Product Owner & Business Analysten

Voraussetzungen für den Kurs

• Grundkenntnisse im Softwaretest (z. B. ISTQB® Foundation Level oder Praxiserfahrung)
• Grundwissen in der Testautomatisierung
• Interesse an Künstlicher Intelligenz und modernen QS-Methoden
• Vertraut im Umgang mit VS Code und Copilot ist wünschenswert
• Bitte beachten Sie: Unsere Schulungsangebote richten sich ausschließlich an Unternehmen, Gewerbetreibende und Freiberufler. Wir führen keine Schulungen für Privatpersonen durch.