RAG-Systeme verstehen und richtig testen – warum alte QA-Methoden versagen

RAG-Systeme stellen QA-Teams vor völlig neue Herausforderungen. Doch bevor man sie testet, muss man sie verstehen.

Vor sieben Jahren begann ich meine Laufbahn in der QA-Automatisierung. Damals testete ich APIs, Datenbanken und Benutzeroberflächen – alles Bereiche, in denen klare Erwartungen und reproduzierbare Ergebnisse Standard sind. Doch als ich das erste Mal ein KI-System testen musste, traf mich die Erkenntnis wie ein Schlag: Nichts von dem, was ich wusste, galt hier.

Dieser Moment markierte den Beginn einer tiefgreifenden Lernkurve. Nicht nur für mich, sondern für jedes QA-Team, das vor der Aufgabe steht, KI-Systeme zu validieren. Denn RAG (Retrieval Augmented Generation) funktioniert fundamental anders als herkömmliche Software. Und damit müssen auch die Teststrategien neu gedacht werden.

Diese Artikelserie ist der erste Schritt zu einem vollständigen Umdenken. Am Ende werden wir gemeinsam ein automatisiertes RAG-Testframework entwickeln – Schritt für Schritt, in verständlicher Sprache und ohne unnötige Komplexität. Doch bevor wir mit dem Bauen beginnen, müssen wir das Fundament legen: Was ist RAG eigentlich? Und warum versagen herkömmliche Testmethoden hier?

KI-Systeme der ersten Generation: Warum LLMs allein nicht ausreichen

LLMs (Large Language Models) wie ChatGPT oder Llama sind beeindruckende Werkzeuge. Sie haben Milliarden von Textseiten gelesen und verstehen grammatikalische Strukturen, logische Zusammenhänge und sogar kulturelle Nuancen. Doch ihnen fehlt ein entscheidendes Merkmal: Aktualität.

Stellen Sie sich vor, Sie fragen einen Mitarbeiter nach den neuesten Unternehmensrichtlinien. Würden Sie zufrieden sein, wenn er antwortet: „Ich kenne die Regeln aus meinem letzten Training vor zwei Jahren – aber neue Entwicklungen kenne ich nicht.“ Genau das tun reine LLMs. Sie generieren Antworten basierend auf ihrem Trainingsdatensatz, der irgendwann in der Vergangenheit endet.

Doch das eigentliche Problem ist noch gravierender: LLMs neigen zu Halluzinationen – sie erfinden Antworten, wenn sie keine Informationen haben. Und das tun sie oft mit einer solchen Überzeugung, dass selbst erfahrene Nutzer den Fehler nicht sofort erkennen.

Für eine KI, die Kundenanfragen beantwortet oder interne Dokumente durchsucht, ist das ein unkalkulierbares Risiko. Ein falscher Hinweis auf eine nicht existierende Produktfunktion oder eine veraltete Preisinformation kann zu massiven Problemen führen – von verärgerten Kunden bis hin zu rechtlichen Konsequenzen.

Die Lösung: RAG verbindet Wissen und Generierung

RAG steht für Retrieval Augmented Generation und ist der Game-Changer, den wir brauchen. Der Ansatz kombiniert zwei Schlüsselelemente:

• Retrieval (Abruf): Die KI sucht gezielt nach relevanten Informationen in einer Wissensdatenbank – seien es Unternehmensrichtlinien, Produktdokumentationen oder aktuelle Support-Artikel.
• Augmented Generation (Erweiterte Generierung): Die gefundenen Informationen werden in den Kontext der KI-Antwort integriert, bevor die finale Antwort generiert wird.

Das Ergebnis? Eine KI, die nicht aus dem Gedächtnis antwortet, sondern aus den tatsächlichen, aktuellen Quellen schöpft.

Stellen Sie sich vor, Sie stellen Ihrem Kundensupport-System eine Frage zu Ihrer aktuellen Rückgabepolitik. Ein reines LLM würde möglicherweise eine veraltete oder unvollständige Antwort liefern. Ein RAG-System hingegen durchsucht Ihre interne Wissensdatenbank, findet die aktuelle Richtlinie und formuliert eine präzise Antwort – immer basierend auf den offiziellen Dokumenten.

Vom Klassenraum zur Produktion: Wie RAG funktioniert

Um RAG zu verstehen, hilft eine einfache Analogie. Stellen Sie sich zwei Schüler vor, die eine Prüfung ablegen:

• Schüler A (reines LLM): Hat sich vor der Prüfung intensiv vorbereitet und verlässt sich auf sein Gedächtnis. Kommt eine Frage außerhalb seines Trainingsstoffs, rät er – manchmal mit verheerenden Folgen.
• Schüler B (RAG-System): Darf während der Prüfung ein Lehrbuch nutzen. Bevor er eine Antwort formuliert, schlägt er die relevante Stelle nach und schreibt seine Antwort basierend auf den tatsächlichen Inhalten.

Schüler B wird fast immer die richtige Antwort geben – weil er nicht raten muss, sondern nachschlagen kann.

Doch wie genau läuft dieser Prozess technisch ab? Hier ist der Ablauf, Schritt für Schritt:

1. Der Nutzer stellt eine Frage

Beispiel: *„Wie lange habe ich Zeit, ein Premium-Abo zu kündigen?“"

2. Die Frage wird in einen mathematischen Code umgewandelt

Die KI übersetzt die Frage nicht in Schlüsselwörter, sondern in einen Vektor – eine Art numerische Fingerabdruck der Bedeutung. Dieser Vorgang heißt Embedding. Ein spezielles Modell (der Embedding-Model) konvertiert die Frage in eine hochdimensionale Zahl, die semantische Ähnlichkeiten erfasst.

3. Die Wissensdatenbank wird durchsucht

Die KI durchsucht nun eine Vektordatenbank, die alle relevanten Dokumente enthält – von FAQs bis zu internen Richtlinien. Mithilfe von Ähnlichkeitsberechnungen (meist Cosinus-Ähnlichkeit) findet sie die Dokumente, deren Inhalte der Nutzerfrage am nächsten kommen.

4. Die relevanten Textstellen werden ausgewählt

Die Suchergebnisse werden gefiltert und die top-3 bis top-5 relevantesten Dokumentenausschnitte werden ausgewählt. Diese enthalten die tatsächlichen Antworten oder Richtlinien.

5. Die Kontextinformation wird an das LLM übergeben

Die ausgewählten Textstellen werden nun in den Prompt integriert – also in die Anweisung, die das LLM erhält. Die Frage des Nutzers wird mit dem gefundenen Kontext kombiniert:

Kontext: „Premium-Abonnements können innerhalb von 14 Tagen nach dem Kauf gekündigt werden. Die Kündigung erfolgt über das Benutzerkonto.“

Frage: „Wie lange habe ich Zeit, ein Premium-Abo zu kündigen?“

6. Das LLM generiert die finale Antwort

Basierend auf dem Kontext formuliert das LLM eine präzise Antwort – ohne zu halluzinieren, weil es sich an den tatsächlichen Dokumenten orientiert. Das Ergebnis wird an den Nutzer zurückgegeben.

Wo RAG-Systeme scheitern können – und warum Tests unverzichtbar sind

Jeder dieser Schritte ist ein potenzieller Fehlerpunkt. Und genau hier liegt die größte Herausforderung für QA-Teams:

• Embedding-Model: Führt es Fragen korrekt in Vektoren um? Versteht es die Bedeutung oder nur Schlüsselwörter?
• Vektordatenbank: Enthält sie alle relevanten Dokumente? Werden Änderungen in den Dokumenten zeitnah aktualisiert?
• Retrieval-Algorithmus: Findet er wirklich die besten Treffer oder übersieht er wichtige Informationen?
• Prompt-Integration: Werden die Kontextinformationen korrekt in den Prompt eingebunden?
• LLM-Ausgabe: Generiert es die Antwort basierend auf dem Kontext oder ignoriert es ihn teilweise?

Ein klassischer API-Test würde hier nicht ausreichen. Stattdessen braucht es:

• Semantische Validierung: Stimmt die Antwort nicht nur syntaktisch, sondern auch inhaltlich mit den Dokumenten überein?
• Konsistenzprüfungen: Liefert das System bei derselben Frage immer dieselbe Antwort – und zwar die richtige?
• Halluzinations-Tests: Werden fiktive oder widersprüchliche Informationen erkannt und korrigiert?
• Performance-Tests: Wie schnell werden relevante Dokumente gefunden, und wie skaliert das System bei vielen Anfragen?

Der erste Schritt zu besseren KI-Tests

Die Umstellung von klassischen Testmethoden auf RAG-spezifische Ansätze ist kein Luxus – sie ist eine Notwendigkeit. Denn während herkömmliche Software deterministisch funktioniert (gleiche Eingabe = gleiche Ausgabe), ist RAG ein probabilistisches System: Die Antworten hängen von der Qualität der Dokumentensuche und der Kontextintegration ab.

In den folgenden Teilen dieser Serie werden wir:

• Ein vollautomatisiertes Testframework für RAG-Systeme entwickeln
• Strategien zur Validierung der Dokumentenrelevanz erarbeiten
• Methoden zur Erkennung von Halluzinationen implementieren
• Performance- und Lasttests für RAG-Pipelines durchführen

Doch bevor wir uns in Code stürzen, müssen wir das Konzept verstehen. Denn nur wer weiß, wie RAG funktioniert, kann es auch korrekt testen.

Die nächste Ausgabe dieser Serie wird sich mit den ersten praktischen Schritten befassen: Wie baue ich eine einfache RAG-Pipeline und welche grundlegenden Tests sollte ich von Anfang an einplanen?

Bis dahin: Beginnen Sie damit, Ihre Wissensdatenbanken zu überprüfen – denn die Qualität Ihrer Dokumente entscheidet über die Qualität Ihrer KI-Antworten.