TOON-Format erklärt: Wie LLM-Pipelines mit weniger Tokens mehr Daten verarbeiten

Die größten Kosten in KI-Pipelines entstehen oft nicht durch die Daten selbst, sondern durch die wiederholte JSON-Struktur, die um jede Eingabe gewickelt wird. Genau hier setzt TOON (Token-Oriented Object Notation) an: Ein schlankes, menschenlesbares Format, das die logische Struktur von JSON beibehält, aber den Token-Overhead deutlich reduziert.

TOON ist speziell für die Zusammenarbeit mit großen Sprachmodellen (LLMs) entwickelt worden. Statt wie JSON bei jedem Objekt alle Schlüssel erneut zu wiederholen, deklariert TOON die Struktur einmal und überträgt im Anschluss nur noch die reinen Datenwerte. Das Ergebnis? Weniger Tokens, mehr Kontext im Eingabe-Fenster – und damit effizientere KI-Workflows.

Warum TOON in modernen KI-Systemen unverzichtbar wird

In vielen LLM-Anwendungen, insbesondere bei Retrieval-Augmented Generation (RAG), steht nicht die Speichereffizienz im Vordergrund, sondern die Token-Effizienz. Jedes zusätzliche Zeichen in der Eingabe erhöht die Kosten und schränkt die Menge an Kontext ein, die ein Modell verarbeiten kann.

JSON ist zwar universell einsetzbar und für API-Schnittstellen ideal, doch bei der Übertragung von Arrays mit gleichförmigen Objekten wird es schnell redundant. Schlüssel wie id, title oder text wiederholen sich in jedem Eintrag – für den Menschen irrelevant, für ein LLM aber mit Tokens verbunden, die sonst für wertvolle Informationen genutzt werden könnten.

TOON löst dieses Problem mit einem einfachen Prinzip: Struktur einmal definieren, Daten mehrfach nutzen. Das Format kombiniert die Klarheit von YAML, die Tabellenstruktur von CSV und die Flexibilität von JSON – und ist dabei so kompakt, dass es für LLM-Prompts optimiert ist.

Der Aufbau von TOON: Schema, Länge und Daten

Ein TOON-Dokument besteht aus drei zentralen Komponenten, die gemeinsam die Effizienz ausmachen:

• Array-Länge in eckigen Klammern, z. B. [5].
• Felddeklaration in geschweiften Klammern, z. B. {id,name,role}.
• Datenzeilen, die den deklarierten Feldern folgen.

Ein einfaches Beispiel veranschaulicht den Unterschied zu JSON:

// JSON
[
  {"id": 1, "name": "Alice", "role": "admin"},
  {"id": 2, "name": "Bob", "role": "user"}
]

// TOON
users[2]{id,name,role}: 1,Alice,admin 2,Bob,user

Diese kompakte Schreibweise spart nicht nur Tokens, sondern verbessert auch die Lesbarkeit für Entwickler und Modelle gleichermaßen. Die Array-Länge [2] gibt zudem Auskunft über die Anzahl der erwarteten Einträge – ein Feature, das hilft, Fehler wie abgeschnittene Antworten oder falsche Datenmengen früh zu erkennen.

Die Stärken von TOON: Wann es JSON übertrifft

TOON eignet sich besonders für gleichförmige Datenstrukturen, bei denen viele Objekte ähnliche Felder aufweisen. Typische Anwendungsfälle sind:

• RAG-Pipelines, in denen Dokumente in Chunks zerlegt und mit Metadaten wie chunk_id, score oder source angereichert werden.
• Agenten-Tools, die strukturierte Ausgaben wie Tool-Calls oder API-Antworten generieren.
• LLM-APIs, die große Mengen an Kontextdaten verarbeiten müssen.

Ein konkretes Beispiel aus einem RAG-System zeigt, wie TOON den Token-Verbrauch reduziert:

// Originaldaten in JSON
[
  {"chunk_id": 101, "doc": "policy.pdf", "section": "refunds", "score": 0.93, "text": "Kunden können innerhalb von 30 Tagen eine Rückerstattung beantragen..."},
  {"chunk_id": 205, "doc": "policy.pdf", "section": "stornierungen", "score": 0.90, "text": "Stornogebühren fallen nach Bearbeitung an..."}
]

// Kompakte TOON-Darstellung
chunks[2]{chunk_id,doc,section,score,text}: 101,policy.pdf,refunds,0.93,"Kunden können innerhalb von 30 Tagen eine Rückerstattung beantragen..." 205,policy.pdf,stornierungen,0.90,"Stornogebühren fallen nach Bearbeitung an..."

Durch die Eliminierung redundanter Schlüssel und Strukturzeichen spart TOON hier bis zu 60 % der Tokens im Vergleich zu JSON – bei gleichem Informationsgehalt.

TOON vs. Parquet und Arrow: Wo die Unterschiede liegen

TOON ist kein Ersatz für spezialisierte Datenformate wie Parquet oder Arrow, sondern ein ergänzendes Werkzeug für die LLM-Kommunikation. Während Parquet und Arrow auf Speicher- und Verarbeitungsoptimierung ausgelegt sind, setzt TOON auf Prompt-Effizienz.

• Parquet ist ein binäres Speicherformat für große Datensätze, ideal für Analytics und Batch-Verarbeitung.
• Arrow optimiert den Datenaustausch in Echtzeit, z. B. zwischen Datenbanken und Anwendungen.
• TOON hingegen ist ein textbasiertes Format, das speziell für die Integration mit LLMs entwickelt wurde.

Das bedeutet: TOON wird typischerweise nicht als Speicherformat verwendet, sondern als Übersetzungsformat zwischen der Rohdatenquelle und dem LLM-Prompt. Der Workflow sieht dabei so aus:

1. Rohdaten werden in einem effizienten Format wie Parquet gespeichert.
2. Für die LLM-Integration werden die relevanten Daten extrahiert und in TOON umgewandelt.
3. Das TOON-Dokument wird dem LLM als Eingabe übergeben.

Diese Trennung ermöglicht es, die Vorteile beider Welten zu nutzen: Die Effizienz von Parquet oder Arrow für die Datenhaltung und die Token-Effizienz von TOON für die LLM-Kommunikation.

Praktische Empfehlungen: Wann TOON sinnvoll ist – und wann nicht

TOON ist kein Allheilmittel, aber in bestimmten Szenarien ein Game-Changer:

✅ Einsatzgebiete:

• RAG-Pipelines mit vielen gleichförmigen Objekten (z. B. Dokument-Chunks).
• Agenten-Tools, die strukturierte Ausgaben generieren.
• LLM-APIs, bei denen der Token-Verbrauch kritisch ist.
• Prototyping und Debugging, dank menschenlesbarer Syntax.

❌ Nicht geeignet für:

• Komplexe, verschachtelte JSON-Strukturen mit variierenden Feldern.
• Binäre Daten oder große Dateien.
• Szenarien, in denen Parquet oder Arrow bereits etabliert sind.

Ein weiterer Vorteil von TOON ist die Fehlererkennung: Durch die explizite Angabe der Array-Länge [N] können Modelle oder Entwickler leicht prüfen, ob die erwartete Anzahl an Einträgen vorhanden ist. Fehlende oder zusätzliche Daten fallen sofort auf.

Fazit: TOON als Schlüssel zu effizienteren KI-Workflows

TOON ist ein schlauer Ansatz, um die Token-Effizienz in LLM-Pipelines zu steigern – ohne Kompromisse bei der Struktur oder Lesbarkeit. Während Formate wie JSON oder CSV in vielen Fällen ausreichend sind, bietet TOON eine zielgerichtete Optimierung für Szenarien, in denen jeder Token zählt.

Die Zukunft der KI-Entwicklung wird zunehmend von der Fähigkeit abhängen, Daten so aufzubereiten, dass sie mit minimalem Overhead verarbeitet werden können. TOON ist ein wichtiger Baustein auf diesem Weg und könnte sich als Standard für LLM-Prompts etablieren – besonders in Branchen, in denen große Datenmengen und hohe Token-Kosten eine zentrale Rolle spielen.

Wer heute mit RAG, Agenten oder LLM-APIs arbeitet, sollte TOON unbedingt ausprobieren. Die Umstellung auf das neue Format könnte nicht nur Kosten sparen, sondern auch die Performance der eigenen KI-Anwendungen deutlich verbessern.