LLM-basierte Wissensgraphen: Warum extrahierte Struktur oft trügt

Die Idee klingt verlockend: Aus jeder Ihrer LLM-Sitzungen einen strukturierten Wissensgraphen erstellen, der Konzepte, Entscheidungen und Beziehungen akkurat abbildet. Doch was passiert, wenn ein anderer LLM-Algorithmus diesen Graphen prüft? Die Realität zeigt: Selbst bei 97,7 % korrekter Wortwiedergabe fehlen oft 39 % der Beziehungsstruktur. Diese Diskrepanz offenbart ein fundamentales Problem – die extrahierte Struktur suggeriert Vollständigkeit, wo tatsächlich Lücken klaffen.

Die Illusion der Vollständigkeit in extrahierten Wissensgraphen

Jedes System, das strukturiertes Wissen aus unstrukturierten Daten wie Sitzungsprotokollen oder Chatverläufen extrahiert, steht vor derselben Herausforderung: Es muss implizite Informationen explizit machen. Dazu gehören die Auflösung von Pronomen, die Bewertung von Beziehungsstärken oder die Entscheidung, welche Details relevant sind. Diese Interpretationen werden als strukturierte Entitäten, Fakten oder Regeln gespeichert – und genau hier beginnt das Problem.

Das Tückische daran: Der extrahierte Graph erscheint autoritativ. Eine typisierte Entität mit Konfidenzwert und drei assoziierten Beziehungen wirkt zuverlässiger als der ursprüngliche Fließtext, aus dem sie stammt. Diese scheinbare Präzision verdeckt jedoch mögliche Fehler. Selbst wenn die Extraktion nur 60 % der ursprünglichen Struktur korrekt wiedergibt, präsentiert das System das Ergebnis als vollständige Antwort. Dieses Phänomen nennt sich vorzeitige Abfrage-Schließung: Die Retrieval-Komponente liefert ein scheinbar vollständiges Ergebnis zurück, das dazu verleitet, die zugrundeliegenden Daten nicht weiter zu hinterfragen.

Praktische Beispiele: Wo die Struktur versagt

Die Problematik ist kein Nischenthema, sondern zeigt sich in etablierten Projekten. Letta, eine auf MemGPT basierende Lösung für lange Konversationen, nutzt Kompaktion, um den Kontext an Fenstergrenzen anzupassen. Dabei werden ältere Nachrichten zusammengefasst, um Platz zu schaffen. Doch die Dokumentation offenbart die Kosten dieses Ansatzes: In einem offenen Issue wird beschrieben, wie die Kompaktion zweimal hintereinander ausgeführt wurde und bereits komprimierte Nachrichten erneut zusammenfasste – ein verlustbehaftetes Komprimieren von Verlustkompression. Ein weiterer Modus löscht die vollständige Verlaufshistorie und belässt nur die Zusammenfassung. Selbst die Prompt-Anweisungen des Systems betonen die Notwendigkeit, „Identifikatoren wortwörtlich zu erhalten“.

CASS Memory System von Jeffrey Emanuel geht das Problem direkt an. Seine Dokumentation warnt explizit vor der „naiven Zusammenfassung“, die kritische Nuancen verliert. Die Lösung? Ein deterministischer Kurator entfernt den LLM aus dem finalen Zusammenführungsprozess, um iterative Verzerrungen zu vermeiden. Doch selbst hier bleibt die Extraktion ein neuralgischer Punkt: Die Eingabedaten für den Kurator stammen weiterhin aus einer LLM-basierten Extraktion von Sitzungen in Regeln. Ein offenes Issue zeigt, dass 99 % dieser Regeln unvalidiert blieben – ein Beleg dafür, dass die Fehlerquelle nicht eliminiert, sondern nur verschoben wurde.

Ebenso aufschlussreich ist die Architektur von Volodymyr Pavlyshyn, die auf der Graphdatenbank LadybugDB aufbaut. Sein System extrahiert Entitäten, Fakten, Ereignisse und Erinnerungen in vier Schichten und weist jeder extrahierten Information eine Gewissheitsstufe zu (angegeben, impliziert, abgeleitet, spekulativ). Fehler in der Extraktion sollen so erkennbar werden. Doch in seinem Design-Dokument räumt Pavlyshyn ein, dass der konzeptionelle Teil zur Extraktion selbst noch ein ungeschriebenes Kapitel bleibt – ein offenes Eingeständnis der Grenzen dieses Ansatzes.

Lösungsansätze: Von der Struktur zur Rohdatenpriorisierung

Die naheliegende Reaktion wäre, die Extraktion zu verbessern. Doch wie die vorgestellten Beispiele zeigen, löst das nicht das Kernproblem: Die Struktur selbst wird zur Quelle der Täuschung. Eine vielversprechendere Strategie ist die Demotion der extrahierten Struktur. Statt sie als alleinige Wahrheit zu behandeln, wird sie als abgeleitetes, sekundäres Artefakt genutzt. Die ursprünglichen Sitzungsdaten bleiben die primäre Quelle – die extrahierte Struktur darf Fehler enthalten, da sie nicht als maßgebliche Antwortgrundlage dient.

Diese Herangehensweise erfordert jedoch Disziplin. Entwickler müssen akzeptieren, dass extrahierte Graphen nie perfekt sein werden, und stattdessen Systeme entwerfen, die mit Unschärfen umgehen können. Beispielsweise könnte eine LLM-basierte Abfrage nicht direkt aus dem Graphen antworten, sondern die Rohdaten einbeziehen, um die Lücken zu kompensieren. Alternativ ließe sich die Struktur nur als Vorschlag nutzen, der vom Nutzer validiert werden muss, bevor er als gesichert gilt.

Die Zukunft: Transparenz statt Vertrauen in die Struktur

Die Technologiebranche steht vor einer paradoxen Situation: Je fortschrittlicher die Wissensextraktionssysteme werden, desto schwerer fällt es, ihre Mängel zu erkennen. Die extrahierte Struktur wirkt nicht nur vollständig, sondern auch technisch fundiert – genau das macht sie gefährlich. Die Lösung liegt nicht in noch besseren Extraktionsalgorithmen, sondern in einem Paradigmenwechsel: weg von der Annahme, dass strukturierte Daten immer zuverlässiger sind als unstrukturierte, hin zu Systemen, die Rohdaten priorisieren und menschliche Validierung einbeziehen.

Für Entwickler, die langfristige LLM-Projekte betreiben, bedeutet das: Hinterfragen Sie die scheinbare Vollständigkeit Ihrer Wissensgraphen. Prüfen Sie, ob Ihre Systeme die Rohdaten als primäre Quelle behandeln und die extrahierte Struktur als potenziell fehlerhaft kennzeichnen. Nur so lässt sich vermeiden, dass die Illusion der Vollständigkeit zur realen Wissenslücke wird.