Vor kurzem führte turva.dev einen ungewöhnlichen Test durch: Vier KI-Agenten prüften die eigenen technischen Leitfäden des Unternehmens auf veraltete und ungenaue Angaben. Doch warum war diese Überprüfung überhaupt notwendig?
Technische Spezifikationen sind keine statischen Dokumente. Sie entwickeln sich ständig weiter, während neue Versionen veröffentlicht oder sogar zurückgezogen werden. Ein Satz wie „Die Spezifikation besagt…“ ist am Veröffentlichungstag korrekt, kann aber bereits am nächsten Tag veraltet sein. Herkömmliche Scanner erkennen solche Änderungen nicht automatisch, da sie nur die Struktur und nicht den Inhalt prüfen. Genau hier setzte das Experiment an: Die vier KI-Agenten, die jeweils mit dem Modell Claude Fable 5 ausgestattet waren, analysierten die Leitfäden Zeile für Zeile. Jeder Agent überprüfte eine bestimmte Kategorie: die Commerce-Spezifikationen, die MCP-Erkennung, die Entdeckungsdateien von agents.json bis llms.txt sowie die Authentifizierungs- und Antwort-Header-Mechanismen. Ihr Ziel war es, jede Spezifikationsaussage in den Leitfäden mit der ursprünglichen Quelle zu vergleichen.
Veraltete Angaben in MCP- und Header-Leitfäden
Die Überprüfung ergab insgesamt acht kritische Anpassungen: eine hochpriorisierte, eine mittlere und sechs kleinere Korrekturen. Die schwerwiegendste Abweichung betraf den MCP-Leitfaden. Dort wurde eine serverseitige Kartenproposition (SEP-2127) im Präsens beschrieben, obwohl sich die Spezifikation bereits weiterentwickelt hatte. Ab Juli 2026 befindet sich das Dokument auf dem MCP-Erweiterungspfad als experimentelle Erweiterung. Die aktuelle Fassung empfiehlt, Karten relativ zum Server-Endpunkt über die Adresse /.well-known/mcp/catalog.json bereitzustellen. Die ursprüngliche Aussage war zum Zeitpunkt ihrer Veröffentlichung korrekt, doch die Spezifikation blieb nicht stehen.
Die mittlere Prioritätsstufe betraf den Leitfaden zu Antwort-Headern. Dieser stützte sich auf den IETF-Entwurf für Standard-RateLimit-Header, der im März 2026 ohne Nachfolger auslief. Die sechs kleineren Korrekturen betrafen vor allem veraltete Formulierungen, etwa Begriffe, die vor A2A 1.0 geprägt wurden, veraltete Verweise auf das Open Knowledge Format oder Nuancen in Cache-Control-Konfigurationen. Zudem waren zwei Stellen in einem Blogbeitrag zitiert worden, der die Leitfäden seinerseits zitierte – ein klassischer Fall von veralteter Information, die sich durch mehrere Dokumente zog.
Kritische Fehler in maschinenlesbaren Profilen
Die schärfsten Erkenntnisse des Tests betrafen jedoch nicht die textuellen Leitfäden, sondern zwei maschinenlesbare Profile, die turva.dev bereitstellt. Diese Profile werden von Software genutzt, und beide hatten alle vorherigen Scans problemlos bestanden – doch genau das war das Problem. Ein Scanner prüft lediglich, ob ein Profil existiert und ob es syntaktisch korrekt ist. Er überprüft nicht, ob die verwendeten Begriffe tatsächlich in der Spezifikation definiert sind. Deshalb können erfundene Schlüssel genauso einfach durchgehen wie korrekte.
Eines der Profile nutzte Service-Keys in einem Namensraum, der laut Spezifikation der Steuerungsbehörde vorbehalten ist. Zudem listete es Transportmethoden auf, die das Enum der Spezifikation nicht enthält. Das andere Profil deklarierte ein Versionsfeld, das das Protokoll überhaupt nicht vorsieht. Beide Profile wurden nun an die offizielle Spezifikation angepasst und programmatisch validiert. Interessanterweise blieben beide Scanner auch nach den Änderungen grün – ein Zeichen dafür, dass die ursprüngliche Prüfung nur die Form, nicht den Inhalt bewertet hatte.
Warum Scans allein nicht ausreichen
Nach den Korrekturen wurden beide Scanner erneut ausgeführt. Die Plattform startuphub.ai erreichte erneut 100 von 100 Punkten mit der Note A+, und isitagentready.com bestätigte Level 5 – exakt die gleichen Ergebnisse wie vor dem Test. Die Scores änderten sich nicht, was eine wichtige Erkenntnis verdeutlicht: Ein Score misst nur den Zustand einer Seite zum Zeitpunkt der Prüfung. Die Aktualität einer Aussage über eine fremde Spezifikation entzieht sich jedoch jedem Scanner. Wer verspricht, jede Zeile zu lesen, muss diese Zeilen auch nach der Veröffentlichung der Spezifikation erneut prüfen.
Digitale Zeitstempel als Lösung
Die nachhaltigste Korrektur bestand darin, jede Spezifikationsaussage mit einem Zeitstempel zu versehen. Ein Satz wie „Die Spezifikation besagt ab Juli 2026…“ bleibt auch dann wahr, wenn sich die Spezifikation weiterentwickelt. Besonders dynamische Bereiche wie Agent Commerce und MCP-Erkennung werden nun in kürzeren Intervallen überprüft, da der Test zeigte, dass sich die Spezifikationen hier innerhalb weniger Wochen ändern können.
Für Organisationen, die ihre agentenbezogenen Angaben systematisch gegen die zitierten Spezifikationen prüfen möchten, bietet turva.dev Unterstützung an. Kontaktieren Sie dazu info@turva.dev.
Die Zukunft technischer Dokumentation liegt nicht nur in automatisierten Scans, sondern in der kontinuierlichen, menschlich überwachten Überprüfung – unterstützt durch KI, aber nicht blind darauf vertrauend.
KI-Zusammenfassung
Standartlar sürekli değişirken rehberlerin doğruluğunu korumak neden zor? Dört AI ajanının turva.dev rehberlerini yeniden incelemesiyle ortaya çıkan gerçekler ve kalıcı çözümler.
