Langzeitgedächtnis übertrifft Vollkontext: Wann KI-Agenten Speicher brauchen

Langzeitgedächtnis ist in der KI-Entwicklung ein viel diskutiertes, aber selten empirisch überprüftes Konzept. Während einige Entwickler argumentieren, dass moderne Kontextfenster von Large Language Models (LLMs) ausreichen, um vollständige Gesprächsverläufe zu verarbeiten, stellt sich die Frage: Bringt ein gezieltes Langzeitgedächtnis überhaupt messbare Vorteile? Eine kürzlich veröffentlichte Studie von Eidentic hat genau das untersucht – und liefert überraschende Erkenntnisse.

Die Testumgebung: Zwei Ansätze im direkten Vergleich

Die Forscher verglichen zwei unterschiedliche Methoden zur Handhabung von Gesprächsverläufen in KI-Agenten. Der Vollkontext-Ansatz fügt jedes Mal die gesamte Historie in den Prompt ein, während der speicherbasierte Ansatz (hier Eidentic Memory) die Daten in einem mehrstufigen System verwaltet und nur die relevanten Informationen für jede Frage abruft. Beide Varianten nutzten dasselbe Sprachmodell und denselben Bewertungsmechanismus. Die Tests erfolgten ohne Stichprobenziehung, und sowohl Siege als auch Niederlagen der Methoden wurden dokumentiert.

LongMemEval: Speicher dominiert bei großen Kontextmengen

Der erste Benchmark, LongMemEval, simulierte realistische Szenarien mit extrem langen Gesprächsverläufen: Rund 115.000 Tokens verteilten sich auf etwa 50 Sitzungen mit 500 Fragen. Hier zeigte sich ein klarer Vorteil für den speicherbasierten Ansatz.

• Gesamtgenauigkeit: 55,2 % (Speicher) vs. 41,0 % (Vollkontext) – ein Vorsprung von 14,2 Prozentpunkten.
• Einzelsitzungs-Fragen (Nutzer): 84,3 % vs. 67,1 %
• Einzelsitzungs-Fragen (Assistent): 92,9 % vs. 73,2 %
• Präferenzfragen: 26,7 % vs. 3,3 %
• Mehrfachsitzungs-Fragen: 42,1 % vs. 27,8 %
• Zeitliche Logik: 34,6 % vs. 20,3 %
• Wissensaktualisierungen: 70,5 % vs. 66,7 %

Neben der höheren Genauigkeit überzeugte der Speicheransatz auch durch Effizienz: Pro Frage wurden nur etwa 2.550 Tokens abgerufen, während der Vollkontext-Ansatz jedes Mal 99.435 Tokens neu verarbeitete – ein Unterschied von bis zu 39-fach weniger Tokens bei besserer Leistung.

LoCoMo: Vollkontext bleibt bei kurzen Verläufen stark

Nicht alle Szenarien profitieren von speicherbasierten Lösungen. Der zweite Benchmark, LoCoMo, arbeitete mit deutlich kleineren Datenmengen. Hier passte der gesamte Gesprächsverlauf bequem in das Kontextfenster des Modells. In diesem Fall erwies sich der Vollkontext-Ansatz als überlegen:

• Gesamtgenauigkeit: 7,8 Prozentpunkte höher als der Speicheransatz.
• Token-Nutzung: Auch hier war der Speicher effizienter (~893 Tokens vs. ~19.030 Tokens), doch der Genauigkeitsvorteil des Vollkontexts überwog.

"Je größer die Kontextmenge, desto stärker profitiert der Speicheransatz – sowohl in puncto Genauigkeit als auch Kosten. Bei kurzen Gesprächen bleibt der Vollkontext jedoch wettbewerbsfähig. Wir möchten Entwicklern beide Ergebnisse zeigen, nicht nur die vorteilhaften."

Praktische Empfehlungen für Entwickler

Die Studie liefert klare Handlungsempfehlungen für den Einsatz von Langzeitgedächtnis in KI-Agenten:

• Kurze Gespräche (unter 20.000 Tokens): Ein spezialisierter Speicher bringt kaum Vorteile. Hier reicht der klassische Vollkontext oft aus – und ist einfacher umzusetzen.
• Lange Gespräche (über 50.000 Tokens): Ein speicherbasiertes System lohnt sich. Die höhere Genauigkeit und die drastisch geringere Token-Nutzung rechtfertigen den Aufwand.
• Skalierungskosten beachten: Bei sehr langen Verläufen werden die Rechenkosten für wiederholtes Neuladen des Kontexts schnell unerschwinglich. Hier ist Speicher die einzige nachhaltige Lösung.

Die vollständige Methodik, der Testaufbau und die Rohdaten der Benchmarks sind in den Benchmark-Dokumentationen von Eidentic einsehbar. Der Quellcode des Testsystems steht zudem im GitHub-Repository zur Verfügung. Entwickler sind eingeladen, die Ergebnisse zu reproduzieren und Feedback zu geben.

Langfristig wird die Frage nicht lauten, ob Speicher notwendig ist, sondern in welchem Umfang. Mit den vorliegenden Daten können Teams fundierte Entscheidungen treffen – und sich auf die Skalierbarkeit ihrer KI-Agenten konzentrieren.