Mit dem neuen LangSmith Engine will die Monitoring- und Evaluierungsplattform von LangChain eine Lücke schließen, die viele Unternehmen mit KI-Agenten plagt: der manuelle Aufwand, Fehler im Live-Betrieb zu erkennen und zu beheben. Stattdessen soll die Lösung die gesamte Fehlerbehebungs-Kette automatisieren – von der Erkennung über die Ursachenanalyse bis hin zur Vorschlagserstellung für Korrekturen. Doch in einem Markt, der zunehmend von integrierten Plattformen der großen Modellanbieter wie Anthropic, OpenAI und Google geprägt wird, stellt sich die Frage: Wo bleibt der Platz für unabhängige Drittanbieter wie LangSmith?
Warum KI-Agenten heute noch zu spät Fehler melden
Die typische Entwicklungsroutine für KI-Agenten folgt einem klaren Muster: Zunächst werden die Agenten getestet, um ihr Verhalten zu verstehen. Anschließend identifizieren Entwickler Lücken in der Funktionalität, passen Prompts und Tools an und erstellen Datensätze für die Bewertung. Erst danach folgen Experimente und die Überprüfung auf Rückfälle – bevor der Agent schließlich in die Produktion geht.
Doch genau hier liegt das Problem: Oft werden Fehler erst erkannt, wenn sie bereits im Live-Betrieb auftreten. Selbst wenn Entwickler Fehler in den Protokollen erkennen, wiederholen sich diese häufig, ohne dass eine gezielte Bewertung sie identifizieren könnte. Besonders problematisch wird es, wenn Nutzer Fragen stellen, für die der Agent nicht ausgelegt ist – ein Szenario, das in der Entwicklung oft unberücksichtigt bleibt.
LangSmith Engine soll diese Lücke schließen, indem es Produktionsprotokolle kontinuierlich überwacht und nach mehreren Signalarten sucht:
- Explizite Fehler
- Ausfälle von Online-Bewertungen
- Anomalien in den Protokollen
- Negative Nutzerfeedback
- Ungewöhnliche Anfragen, die über den ursprünglichen Anwendungsfall hinausgehen
Sobald ein Problem erkannt wird, analysiert die Lösung den aktuellen Codebestand, identifiziert die Ursache und erstellt einen Pull Request mit einem Vorschlag zur Behebung. Erst am Ende greift der Mensch ein – zur Freigabe des Vorschlags.
Integrierte Lösungen der Modellanbieter als Konkurrenz
Während LangSmith mit Engine eine dringend benötigte Automatisierung anbietet, agiert das Unternehmen in einem zunehmend umkämpften Markt. Große Modellanbieter wie Anthropic und OpenAI erweitern ihre Plattformen um integrierte Tools für die Bereitstellung, Bewertung und Überwachung von KI-Agenten.
- Anthropic kombiniert mit Claude Managed Agents die Bereitstellung von Agenten mit deren Überwachung und Orchestrierung.
- OpenAI bietet mit Frontier eine zentrale Plattform für den Aufbau, die Steuerung und die Bewertung von Agenten – allerdings ohne die Flexibilität, mehrere Modelle gleichzeitig zu nutzen.
Doch genau hier liegt ein kritischer Punkt: Viele Unternehmen setzen auf mehrere Modelle gleichzeitig und lehnen es ab, sich an einen einzigen Anbieter zu binden. Leigh Coney, Gründer und Hauptberater bei Workwise Solutions, betont dies gegenüber VentureBeat:
„Ein Fonds, mit dem ich zusammenarbeite, nutzt Claude für Analysen und GPT für separate Workflows. Wenn die Überwachung in den jeweiligen Tools der Anbieter stattfindet, entstehen zwei isolierte Systeme, die nicht miteinander kommunizieren können. Das Compliance-Team kann dann keinen einheitlichen Prüfpfad erstellen.“
Jessica Arredondo Murphy, CEO und Mitgründerin von True Fit, ergänzt:
„Unternehmen konsolidieren sich nicht so schnell auf die Tools der Modellanbieter, wie diese es sich wünschen. Was ich sehe, ist eine pragmatische Aufteilung: Teams nutzen die Tools der Anbieter für schnelles Onboarding und frühes Debugging. Doch sobald es um Produktionszuverlässigkeit, Governance und langfristige Flexibilität geht, greifen sie auf neutralere Schichten für Überwachung und Bewertung zurück.“
LangSmith Engine als Brücke zwischen Automatisierung und Neutralität
LangSmith Engine positioniert sich als Lösung, die nicht an einen bestimmten Modellanbieter gebunden ist. Die Plattform nutzt die bestehende Infrastruktur von LangSmith – insbesondere die Protokollierung und Bewertung – und kann zusätzlich mit unternehmensspezifischen Bewertungsergebnissen integriert werden.
Im Gegensatz zu reinen Überwachungstools wie Weights & Biases, Arize Phoenix oder Honeyhive übernimmt LangSmith Engine die komplette Fehlerbehebungs-Kette – von der Erkennung bis zur Vorschlagserstellung – und reduziert so den manuellen Aufwand auf ein Minimum. Erst der finale Schritt erfordert menschliche Prüfung.
Für Unternehmen, die bereits mehrere Modelle parallel betreiben oder ihre Abhängigkeit von einzelnen Anbietern minimieren möchten, könnte LangSmith Engine eine attraktive Option darstellen. Die Lösung steht ab sofort in einer öffentlichen Beta-Version zur Verfügung. Teams können ein Protokollierungsprojekt verbinden und optional ihr Repository anbinden, woraufhin die Lösung automatisch Probleme aus den Produktionsprotokollen erkennt und Lösungsvorschläge unterbreitet.
Ausblick: Wer setzt sich als Standard für KI-Qualität durch?
Die Einführung von LangSmith Engine unterstreicht einen zentralen Trend der KI-Branche: Die Automatisierung von Entwicklungs- und Betriebsprozessen wird immer wichtiger. Gleichzeitig zeigt der Wettbewerb der integrierten Plattformen, dass viele Unternehmen nach unabhängigen Lösungen suchen, die nicht an einen einzigen Modellanbieter gebunden sind.
Ob LangSmith Engine langfristig eine führende Rolle einnehmen kann, hängt davon ab, ob es gelingt, die Vertrauenswürdigkeit und Flexibilität zu beweisen, die Unternehmen für eine Produktionsumgebung benötigen. Während die großen Anbieter mit integrierten Lösungen locken, bleibt die Frage: Wer bietet die beste Balance zwischen Automatisierung und Neutralität?
KI-Zusammenfassung
LangSmith Engine, üretim hatalarını otomatik olarak tespit ediyor ve düzeltilmesini sağlıyor. Şirketlerin ajan oluşturma ve dağıtma süreçlerini daha verimli hale getirmek için tasarlandı.
