Warum hybride Suche in RAG-Systemen unverzichtbar ist

Es war ein perfekter Launch: Ihr neues RAG-System für die SaaS-Dokumentation lieferte präzise Antworten auf semantische Fragen und reduzierte Support-Tickets spürbar. Doch dann kam die Anfrage nach "PX-9000-v2-Konfigurationsfehlern" – und das System lieferte nur allgemeine Fehlerbehebungsanleitungen. Die Ursache? Vektorsuche erfasst zwar die Bedeutung, scheitert aber oft an konkreten technischen Begriffen wie Produktnamen, Versionsnummern oder Fehlercodes.

In der Praxis bedeutet das: Ein Entwickler sucht nach einem spezifischen Fehlercode, findet aber stattdessen Dokumentation zu allgemeinen Fehlerbehandlungsstrategien. Die Lösung liegt in der Kombination aus semantischer Suche und präziser Schlüsselwortsuche – der hybriden Suche.

Die zwei Gesichter der Informationssuche: Semantik vs. Präzision

Die Suche nach Informationen funktioniert auf zwei fundamental unterschiedlichen Wegen, die jeweils eigene Stärken besitzen.

Vektorsuche: Bedeutung statt Buchstaben

Vektorsuche arbeitet mit numerischen Darstellungen von Text – sogenannten Embeddings. Diese erfassen die semantische Bedeutung hinter einer Anfrage. Sucht ein Nutzer nach "schnellstes Aufklärungsflugzeug", findet das System automatisch den SR-71 Blackbird, selbst wenn diese Begriffe nicht direkt in der Anfrage vorkommen. Diese Methode ist ideal für vage Formulierungen, Synonyme oder natürlichsprachliche Fragen.

Doch genau hier liegt auch die Schwäche: Technische Fachbegriffe, Produktcodes oder exakte Fehlerbezeichnungen werden oft nicht korrekt erkannt. Ein Embedding-Modell, das auf allgemeinsprachlichen Daten trainiert wurde, gruppiert ähnliche Konzepte zusammen – ein Fehlercode wie "PX-9000-v2" wird möglicherweise in der Nähe von "PX-9000-v1" oder sogar gänzlich anderen Produkten der 9000er-Serie platziert.

Schlüsselwortsuche: Exakte Treffer für technische Begriffe

Die klassische Volltextsuche funktioniert nach einem völlig anderen Prinzip. Sie sucht nach exakten Übereinstimmungen von Zeichenfolgen und bewertet diese nach Häufigkeit und Seltenheit. Wird nach dem exakten Begriff "PX-9000-v2" gesucht, findet das System genau diese Zeichenkette – oder gar nichts. Diese Methode ist unverzichtbar für technische Dokumentation, Fehlercodes oder Versionsnummern.

Die Kombination beider Ansätze – hybride Suche – nutzt die Stärken beider Welten: semantische Flexibilität und präzise Treffergenauigkeit.

Reciprocal Rank Fusion: Die Mathematik der besten Ergebnisse

Die größte Herausforderung bei hybrider Suche liegt im Umgang mit unterschiedlichen Bewertungssystemen. Vektorsuche liefert Distanzwerte (z. B. Kosinus-Distanz zwischen 0 und 1), während Schlüsselwortsuche Häufigkeiten oder Relevanzscores zurückgibt. Diese Werte sind nicht direkt vergleichbar.

Die Lösung bietet Reciprocal Rank Fusion (RRF), ein Algorithmus, der ausschließlich die Rangfolgen der Ergebnisse berücksichtigt – unabhängig von den ursprünglichen Scores. Die Formel lautet:

score = Σ 1 / (k + rank(c, r))

Dabei steht c für ein Dokumentfragment, r für die Ergebnismengen (Vektor- und Schlüsselwortsuche) und k für eine Konstante, die die Dominanz einzelner Top-Ergebnisse begrenzt.

Warum k=60 die optimale Balance schafft

Der Parameter k wirkt wie ein Dämpfer und verhindert, dass ein einzelnes Top-Ergebnis die gesamte Rangfolge dominiert. In der ursprünglichen RRF-Studie erwies sich k=60 als besonders stabil über verschiedene Datensätze hinweg.

Ein kleines Rechenbeispiel verdeutlicht die Wirkung:

• Ein Dokument auf Rang 1 in der Vektorsuche erhält einen Score von 1/(60+1) ≈ 0,0164
• Ein Dokument auf Rang 2 in beiden Suchmethoden erhält 1/(60+2) + 1/(60+2) ≈ 0,0328
• Ein Dokument auf Rang 1 in nur einer Methode (Score ≈ 0,0164) wird also von einem Dokument auf Rang 2 in beiden Methoden (Score ≈ 0,0328) überholt

Diese mathematische Glättung sorgt dafür, dass nur Dokumente in den oberen Rängen beider Suchmethoden die finale Rangfolge dominieren – ein entscheidender Vorteil für die Qualität der Suchergebnisse.

Praktische Umsetzung: Zwei Datenbanken, eine intelligente Suche

Die Implementierung hybrider Suche erfordert in der Regel zwei separate Systeme:

• Eine Schlüsselwortsuchmaschine wie Elasticsearch oder Solr für exakte Treffer
• Eine Vektordatenbank wie Pinecone oder Weaviate für semantische Suche

Ein Orchestrierungslayer sammelt die Ergebnisse beider Systeme, wendet die RRF-Berechnung an und gibt eine einheitliche, nach Relevanz sortierte Ergebnisliste zurück. Moderne relationale Datenbanken wie MariaDB oder PostgreSQL bieten zunehmend native Unterstützung für beide Suchverfahren und ermöglichen die Kombination in einer einzigen Abfrage.

Beispiel: Hybride Suche mit MariaDB

Mit MariaDB 11.4 lassen sich Vektor- und Volltextsuche innerhalb einer einzigen Tabelle kombinieren. Hier ein vereinfachtes Beispiel:

CREATE OR REPLACE TABLE documents (
  id INT AUTO_INCREMENT PRIMARY KEY,
  content TEXT,
  embedding VECTOR(1536),
  FULLTEXT KEY (content)
);

INSERT INTO documents (content) VALUES 
  ('Fehlercode PX-9000-v2: Netzwerkverbindung bricht ab'),
  ('Allgemeine Netzwerkfehlerbehebung bei SaaS-Plattformen'),
  ('PX-9000-Serie: Technische Spezifikationen und Kompatibilität');

ALTER TABLE documents ADD VECTOR INDEX (embedding);

SET @query = 'PX-9000-v2 Fehler';
SET @query_embedding = VEC_FromText('... berechnetes Embedding des Suchbegriffs ...');
SET @k = 60;

-- Hybride Suche mit Fensterfunktionen
SELECT 
  content,
  1 / (@k + RANK() OVER (ORDER BY VEC_DISTANCE_COSINE(embedding, @query_embedding))) +
  1 / (@k + RANK() OVER (ORDER BY MATCH(content) AGAINST(@query IN NATURAL LANGUAGE MODE))) AS hybrid_score
FROM documents
ORDER BY hybrid_score DESC;

Diese Abfrage kombiniert die semantische Nähe zur Suchanfrage mit der exakten Übereinstimmung der Schlüsselwörter und gewichtet beide Ergebnisse nach dem RRF-Prinzip.

Fazit: Hybride Suche als Standard für Produktions-RAG

Vektorsuche allein reicht nicht aus, um in der Praxis zuverlässige Ergebnisse zu liefern. Technische Dokumentation, Fehlercodes und spezifische Produktbezeichnungen erfordern präzise Treffer, die nur die klassische Schlüsselwortsuche bieten kann. Die Kombination beider Ansätze durch hybride Suche – unterstützt durch Algorithmen wie Reciprocal Rank Fusion – schafft die Grundlage für RAG-Systeme, die auch unter realen Bedingungen zuverlässig funktionieren.

Unternehmen, die RAG-Lösungen in der Produktion einsetzen, sollten hybride Suche als Standard implementieren. Die technische Umsetzung erfordert zwar etwas Mehraufwand bei der Integration, zahlt sich aber in deutlich höherer Nutzerzufriedenheit und geringeren Supportkosten aus. In einer Zeit, in der KI-Systeme zunehmend in kritischen Geschäftsprozessen eingesetzt werden, ist diese zusätzliche Investition in die Qualität der Informationssuche unverzichtbar.