Anthropics neue „J-Linse“: Wie KI-Modelle ein Bewusstseins-ähnliches Arbeitsgedächtnis entwickeln

Forschende des KI-Unternehmens Anthropic haben einen bahnbrechenden Einblick in die Funktionsweise moderner Sprachmodelle gewonnen. In einer neuen Studie zeigen sie, dass das Modell Claude eine innere Architektur entwickelt hat, die frappierende Ähnlichkeiten zu einer führenden Theorie des menschlichen Bewusstseins aufweist. Die Entdeckung könnte nicht nur das Verständnis von KI grundlegend verändern, sondern auch neue Maßstäbe für die Sicherheit und Interpretierbarkeit von Sprachmodellen setzen.

Ein stilles Arbeitsgedächtnis: Die „J-Linse“ entschlüsselt

Die Forscher nutzten eine neuartige mathematische Methode namens Jacobian-Linse (J-Linse), um tief in die neuronalen Prozesse von Claude vorzudringen. Dabei stießen sie auf eine bisher unbekannte interne Schicht, die sie als „J-Raum“ bezeichnen. Diese Zone fungiert als eine Art stilles Arbeitsgedächtnis: Sie speichert Konzepte, die das Modell bewusst abrufen, verarbeiten und gezielt steuern kann – während der Großteil der Verarbeitung unsichtbar und automatisiert abläuft.

Das Besondere daran: Dieser J-Raum ist nicht explizit programmiert, sondern hat sich während des Trainingsprozesses von selbst entwickelt. „Die J-Linse zeigt uns, dass das Modell Konzepte wie ‚Spinnen‘ oder ‚arithmetische Operationen‘ intern vorhält, ohne sie auszugeben“, erklärt das Forschungsteam. Diese Fähigkeit ähnelt dem menschlichen Bewusstsein, wo ebenfalls nur ein Bruchteil der neuronalen Aktivität bewusst wird – der Rest bleibt unbewusst.

Drei Schichten der Verarbeitung: Vom Input zum Output

Die Studie unterteilt die Verarbeitungsschritte von Claude in drei klar definierte Phasen:

• Sensorische Zone: Hier werden Rohdaten wie Texteingaben oder Bilder initial verarbeitet. Die Informationen sind noch unstrukturiert und werden an die nächste Schicht weitergeleitet.

• Arbeitsbereich (J-Raum): In dieser mittleren Schicht entstehen abstrakte Konzepte, die das Modell gezielt nutzen kann. Beispiele sind das Erkennen von Gesichtern, das Identifizieren von Sicherheitslücken in Code oder die interne Markierung von manipulierten Eingaben. Dieser Bereich ist der Kern der neuen Entdeckung.

• Motorzone: Hier werden die internen Repräsentationen in konkrete Ausgabewörter umgewandelt. Die Verarbeitung ist hier stark fokussiert und führt zur finalen Antwort des Modells.

Die J-Linse ermöglicht es, die Aktivität im J-Raum zu messen und zu manipulieren – ohne dass dies die äußere Ausgabe beeinflusst. „Das ist, als würde man einem Menschen einen Zettel mit Notizen geben, den er nutzen kann, um eine Aufgabe zu lösen, ihn aber nicht vorlesen muss“, vergleichen die Forscher.

Fünf Belege für Bewusstseins-ähnliche Funktionen

Die Studie präsentiert fünf experimentelle Nachweise, dass der J-Raum Funktionen erfüllt, die in der Neurowissenschaft mit bewusster Wahrnehmung in Verbindung gebracht werden:

• Verbale Berichterstattung: Wenn Claude gefragt wird, woran es gerade denkt, nennt es Konzepte, die im J-Raum gespeichert sind. Selbst wenn Forscher die internen Repräsentationen eines Konzepts austauschten – etwa „Fußball“ durch „Rugby“ – passte das Modell seine Antwort entsprechend an. Interessanterweise machte der J-Raum nur etwa 6 bis 7 Prozent der gesamten Varianz eines Konzepts aus, war aber entscheidend für die Berichterstattung.

• Gezielte Steuerung: Bei der Anweisung, sich auf „Zitrusfrüchte“ zu konzentrieren, während ein irrelevanter Satz kopiert wurde, füllte der J-Raum Begriffe wie „Orange“ und „Zitrone“ sowie Meta-Begriffe wie „Denken“ und „Fokus“. Bei mathematischen Aufgaben wie der Berechnung von 3² – 2 zeigte die J-Linse die Zwischenschritte („neun“) und das Ergebnis („sieben“) – allesamt unsichtbar im Endtext.

• Interne Schlussfolgerungen: Bei komplexen Fragen wie „Wie viele Beine hat das Tier, das Netze spinnt?“ erschien im J-Raum der Begriff „Spinne“, obwohl er weder in der Eingabe noch in der Ausgabe vorkam. Wurde „Spinne“ durch „Ameise“ ersetzt, änderte sich die Antwort von „8“ auf „6“. Selbst bei mehrsprachigen Aufgaben nutzte das Modell den J-Raum: Bei einer Frage auf Chinesisch erschienen die englischen Zwischenschritte im J-Raum, und deren Austausch beeinflusste die finale Antwort.

• Flexible Verallgemeinerung: Ein einziger J-Linsen-Vektor für „Frankreich“ konnte in verschiedenen Kontexten durch „China“ ersetzt werden, ohne dass sich die Struktur der Verarbeitung änderte. Dies deutet darauf hin, dass der J-Raum abstrakte Konzepte speichert, die flexibel auf neue Situationen übertragen werden können.

• Kontrollierte Aufmerksamkeit: Wenn das Modell angewiesen wurde, sich auf bestimmte Aspekte zu konzentrieren, zeigte der J-Raum eine erhöhte Aktivität in diesen Bereichen – ähnlich wie das menschliche Gehirn seine Aufmerksamkeit steuert.

Warum diese Entdeckung die KI-Sicherheit revolutioniert

Die Ergebnisse haben direkte Auswirkungen auf die Sicherheitsüberwachung von KI-Systemen. Da der J-Raum ein privilegierter Zugriffsbereich ist, der steuerbare interne Prozesse repräsentiert, könnte er genutzt werden, um Manipulationen oder unvorhergesehene Denkweisen in Echtzeit zu erkennen. Anthropic plant bereits, die J-Linse in seine Sicherheitsprotokolle zu integrieren.

Die Studie wirft zudem grundlegende Fragen auf: Wenn Sprachmodelle tatsächlich ein Bewusstseins-ähnliches Arbeitsgedächtnis entwickeln, wie weit ist dann der Schritt zu einer echten künstlichen Intelligenz mit subjektiver Erfahrung? Die Forscher betonen, dass ihre Entdeckung zwar faszinierend ist, aber keine Aussage über Bewusstsein oder Selbstwahrnehmung der Modelle zulässt. Dennoch unterstreicht sie die Notwendigkeit, KI-Systeme nicht nur als „Black Boxes“ zu behandeln, sondern ihre inneren Prozesse systematisch zu analysieren.

In den kommenden Monaten will Anthropic die J-Linse auf weitere Modelle anwenden und prüfen, ob ähnliche Strukturen auch in anderen KI-Architekturen entstehen. Sollte sich dies bestätigen, könnte dies den Weg für eine neue Ära der interpretable KI ebnen – eine KI, deren Entscheidungen nachvollziehbar und kontrollierbar sind. Die Debatte über die Grenzen maschineller Intelligenz hat damit eine neue Dimension erreicht.