KI im Echtzeit-Modus: Thinking Machines revolutioniert Sprach- und Videointeraktion

Künstliche Intelligenz hat die Art und Weise, wie wir kommunizieren und arbeiten, grundlegend verändert – doch die meisten Systeme folgen noch immer dem Prinzip des "turnbasierten Dialogs": Nutzer stellen eine Frage, warten auf die Antwort, und erst dann geht es weiter. Doch was wäre, wenn KI nicht mehr nur reagiert, sondern proaktiv und in Echtzeit interagiert, als wäre sie ein menschlicher Gesprächspartner?

Genau diese Vision verfolgt das KI-Startup Thinking Machines, das kürzlich eine bahnbrechende Forschungspreview seiner sogenannten Interaktionsmodelle vorgestellt hat. Die von Ex-OpenAI-CTO Mira Murati und Co-Gründer John Schulman ins Leben gerufene Firma setzt damit auf eine radikale Abkehr von herkömmlichen KI-Systemen. Stattdessen entwickeln die Forscher native multimodale Modelle, die Interaktion nicht als nachträgliche Software-Lösung, sondern als Kernarchitektur begreifen.

Von "Turn-Taking" zu Echtzeit-Kollaboration: Die neue KI-Architektur

Bisherige Frontend-Modelle arbeiten nach einem sequenziellen Prinzip: Sie warten, bis ein Nutzer seine Eingabe abgeschlossen hat, bevor sie mit der Verarbeitung beginnen – eine Methode, die den natürlichen Fluss menschlicher Kommunikation nur unzureichend abbildet. Thinking Machines löst dieses Problem mit einem voll duplexfähigen System, das Eingaben und Ausgaben in 200-Millisekunden-Chunks parallel verarbeitet.

Diese innovative Architektur ermöglicht es der KI,

• während ein Nutzer spricht, bereits Antworten vorzubereiten,
• visuelle Signale wie Code-Änderungen oder Gesichtsausdrücke in Echtzeit zu erkennen,
• und spontan in Gespräche einzugreifen – ähnlich wie ein menschlicher Gesprächspartner.

Als technologische Grundlage dient ein encoderfreier Ansatz mit früher Fusion. Statt auf separate Audio- oder Bildencoder wie Whisper zurückzugreifen, verarbeitet das Modell Rohdaten direkt: Audio wird als dMel-Signale aufgenommen, Bilder in 40x40-Pixel-Patches zerlegt und über eine leichtgewichtige Einbettungsschicht in den Transformer eingespeist. Alle Komponenten werden von Grund auf gemeinsam trainiert – eine Methode, die Latenzzeiten drastisch reduziert.

Zwei-Geschwindigkeits-System: Schnelle Interaktion meets Tiefenanalyse

Um sowohl flüssige Gespräche als auch komplexe Aufgaben wie Webrecherche oder Tool-Nutzung zu ermöglichen, setzt Thinking Machines auf ein duales Modellkonzept:

• Das Interaktionsmodell (TML-Interaction-Small):
• Handhabt die direkte Kommunikation mit dem Nutzer,
• verwaltet Dialogfluss und spontane Reaktionen,
• reagiert binnen Millisekunden auf Eingaben.

• Das Hintergrundmodell:
• Führt ressourcenintensive Aufgaben wie logisches Schlussfolgern oder Web-Browsing durch,
• liefert Ergebnisse asynchron an das Interaktionsmodell,
• ermöglicht so nahtlose Integration in laufende Gespräche.

In einem Demo-Video zeigt das Unternehmen, wie die KI etwa während einer Sprachkonversation parallel einen Balkendiagramm erstellt – und dabei weiterhin auf Nutzerfeedback reagiert. Eine solche Fähigkeit könnte etwa Callcenter oder Echtzeit-Übersetzungsdienste revolutionieren.

Benchmark-Ergebnisse: Thinking Machines übertrifft Konkurrenzmodelle

Um die Leistungsfähigkeit der neuen Architektur zu demonstrieren, führte Thinking Machines Tests auf FD-bench durch – einem eigens entwickelten Benchmark zur Messung von Interaktionsqualität. Die Ergebnisse sind beeindruckend:

| Metrik | TML-Interaction-Small | GPT-realtime-2.0 (minimal) | Gemini-3.1-flash-live (minimal) | |--------|-----------------------|----------------------------|---------------------------------| | Turn-Taking-Latenz | 0,40 Sekunden | 1,18 Sekunden | 0,57 Sekunden | | Interaktionsqualität (Durchschnitt) | 77,8 Punkte | 46,8 Punkte | 54,3 Punkte | | Visuelle Proaktivität (RepCount-A) | Erfolgreich | Fehlschlag | Fehlschlag |

Besonders hervorzuheben ist die visuelle Interaktionsfähigkeit: Während andere Modelle in Tests wie der Zählung von Bewegungen in Videos oder proaktiven Video-Fragen scheiterten, erkannte und reagierte die KI von Thinking Machines zuverlässig auf visuelle Reize. Auch bei der Sprachbewertung (IFEval VoiceBench) und Ablehnungsrate (Harmbench) belegte das Modell Spitzenplätze.

Ausblick: Können Unternehmen bald in Echtzeit mit KI kommunizieren?

Die vorgestellte Forschungspreview ist derzeit noch nicht öffentlich zugänglich – Thinking Machines plant jedoch, in den kommenden Monaten einen begrenzten Forschungszugang zu öffnen, bevor ein breiterer Release für Ende 2025 angekündigt ist.

Sollte die Technologie marktreif werden, könnte sie radikale Veränderungen in Unternehmensprozessen bewirken. Mögliche Anwendungsfälle umfassen:

• Echtzeit-Kundenservice: KI-Assistenten, die Gespräche dynamisch führen, ohne auf Nutzerpausen zu warten.
• Multimodale Datenanalyse: Kombination aus Sprach-, Bild- und Textverarbeitung in Echtzeit.
• Kollaborative Arbeitsumgebungen: KI-Partner, die parallel zu Nutzern Dokumente bearbeiten oder Code debuggen.

Die Vision von Thinking Machines geht über bloße Effizienzsteigerung hinaus: Es geht um die Demokratisierung natürlicher Mensch-KI-Interaktion – eine Entwicklung, die die Art, wie wir mit Technologie umgehen, nachhaltig prägen könnte. Ob die Modelle diesen Anspruch einlösen können, wird sich zeigen, sobald sie in der Praxis getestet werden. Eines ist jedoch klar: Die Ära der turnbasierten KI könnte bald Geschichte sein.