Echtzeit-Daten zeigen: So schnell reagieren KI-Gateways bei Ausfällen

Die Zuverlässigkeit von KI-Anwendungen hängt nicht nur von den Modellen ab, sondern maßgeblich von der Infrastruktur, die sie steuert. Ein aktueller Test von Nexus Labs zeigt, wie drei verschiedene KI-Gateways unter Produktionsbedingungen performen – und wo die größten Unterschiede liegen.

Nach einem schweren Ausfall bei OpenAI im April, der 38 Minuten ungenutzte Anfragen verursachte, entschied sich das Team, ihre bisherige Retry-Logik durch moderne Gateways zu ersetzen. Doch welche Lösung eignet sich am besten für den Einsatz in kritischen Umgebungen?

Warum Standardbenchmarks die Realität nicht abbilden

Die meisten Gateway-Tests bewerten Systeme unter idealen Bedingungen – mit künstlichen Lasten und ohne echte Ausfälle. Doch in der Praxis sieht die Welt anders aus: Provider fallen aus, liefern Fehlercodes wie 429 oder 503, und Nutzer erwarten eine nahtlose Erfahrung. Nexus Labs wollte wissen, wie schnell ein Gateway auf solche Szenarien reagiert und welche Latenz es selbst im Normalbetrieb verursacht.

Für ihren Vergleich nutzten die Entwickler identische Hardware (zwei c6i.4xlarge-Instanzen hinter einem NLB) und dieselben Anbieterkonfigurationen. Jedes Gateway – Bifrost, LiteLLM und Portkey – wurde mit denselben Zugriffsdaten und Anfrageverteilungen getestet. Die Messungen basieren auf echten Protokollen über einen Zeitraum von 30 Tagen und umfassen mehr als 720 Stunden Produktionsverkehr.

Die Performance im direkten Vergleich

Die Testergebnisse zeigen deutliche Unterschiede zwischen den Gateways. Besonders auffällig ist die Latenz unter Last sowie die Zeit, die vergeht, bis ein Gateway auf einen Ausfall reagiert und zu einem alternativen Anbieter wechselt.

| Gateway | p50-Latenzüberhang | p99-Latenzüberhang | Failover-Zeit (bei Anbieterausfall) | Speicherverbrauch bei 1.000 RPS | |---------------|--------------------|--------------------|-------------------------------------|----------------------------------| | Bifrost | 3 ms | 11 ms | 180 ms (ein neuer Versuch + Wechsel) | 412 MB | | LiteLLM | 8 ms | 41 ms | 620 ms | 890 MB | | Portkey* | 6 ms | 29 ms | 340 ms | 650 MB |

*Portkey wurde in der selbstgehosteten Version getestet.

Bifrost, geschrieben in Go, glänzt mit der geringsten zusätzlichen Latenz und der schnellsten Failover-Reaktion. LiteLLM, basierend auf Python und FastAPI, zeigt zwar eine akzeptable Performance, erreicht aber weder die Geschwindigkeit noch die Effizienz von Bifrost. Portkey liegt im Mittelfeld – besonders die selbstgehostete Version hinkt hinter der gemanagten Version in Sachen Features und Performance zurück.

Ein entscheidender Faktor ist die Architektur: Bifrost wertet Ausweichrouten synchron aus und vermeidet unnötige Neuversuche, was bei wiederholten Fehlern besonders wertvoll ist. LiteLLMs Stärke liegt dagegen in der Integration von benutzerdefinierten Kostenverfolgungssystemen, die für Finanzberichte genutzt werden.

Drei konkrete Anwendungsfälle für Bifrost

Nexus Labs setzt Bifrost nicht nur für das klassische Failover ein, sondern auch für spezifische Anforderungen ihrer Infrastruktur.

• Automatische Ausweichrouten: Fällt OpenAI mit einem 429-Statuscode aus, leitet Bifrost die Anfrage nahtlos an Anthropic weiter – ohne dass der Agenten-Code Änderungen benötigt. Das gesamte Routing geschieht im Hintergrund.

• Semantisches Caching: Für interne Tests wird ein Pool von 18.000 Prompts täglich gegen neue Modellversionen ausgeführt. Dank semantischem Caching kann Nexus Labs 73 % dieser Anfragen vermeiden, was zu erheblichen Kosteneinsparungen führt. Pro Nacht werden so etwa 13.000 unnötige API-Aufrufe eingespart.

• Integrierte Metriken: Bifrost bietet native Unterstützung für Prometheus, sodass die Entwickler bestehende Überwachungs-Tools nutzen können. Innerhalb von fünf Minuten war die Integration abgeschlossen – die Standard-Dashboards sind zwar einfach gehalten, aber die Metriken selbst sind hochgradig anpassbar.

Was Nexus Labs nicht nutzte

Nicht alle Features der Gateways kamen zum Einsatz. So verzichtete das Team auf den MCP-Gateway, Governance-Funktionen und SSO-Integration. Die Authentifizierung läuft weiterhin separat vor dem Gateway, und komplexe Plugins wurden bisher nicht benötigt. Zwar bietet Bifrost eine Plugin-Schnittstelle, doch für die aktuellen Anforderungen reichte die Standardkonfiguration aus.

Trade-offs: Welches Gateway passt zu Ihrem Team?

Die Wahl des richtigen Gateways hängt stark von den spezifischen Anforderungen ab. Bifrost ist zwar jung, unterstützt aber bereits 23 verschiedene Anbieter. Für Nischenanbieter lohnt sich ein Blick in die Dokumentation – oder die Implementierung eines eigenen Plugins. Die Weboberfläche ist für die initiale Einrichtung ausreichend, eignet sich aber weniger für komplexe Governance-Aufgaben. Hier empfiehlt sich die Konfiguration per YAML-Datei, die in Versionierungssysteme wie Git eingebunden werden kann.

LiteLLM punktet mit einer größeren Community und mehr Integrationen, was die Migration erleichtert – allerdings auf Kosten von Performance und Speichernutzung. Portkey eignet sich besonders für Teams, die eine gemanagte Lösung bevorzugen und keine eigene Infrastruktur betreiben möchten.

Wichtigstes Fazit: Die hier gezeigten Zahlen basieren auf dem spezifischen Lastprofil von Nexus Labs. Jede Umgebung ist anders – ein direkter Vergleich unter realen Bedingungen ist unerlässlich, bevor eine Entscheidung getroffen wird.

Fazit: Die Infrastruktur entscheidet über den Erfolg

Moderne KI-Anwendungen sind nur so robust wie ihre zugrundeliegende Infrastruktur. Ein hochperformantes Modell nützt wenig, wenn die Routing-Lösung bei Ausfällen versagt oder unnötige Latenz verursacht. Die Tests von Nexus Labs zeigen, dass Gateways wie Bifrost nicht nur zuverlässiger, sondern auch effizienter sein können als etablierte Alternativen.

Bevor Sie sich für eine Lösung entscheiden, testen Sie die Performance in Ihrer eigenen Umgebung. Nutzen Sie die verfügbaren Tools wie semantisches Caching und integrierte Metriken, um nicht nur die Zuverlässigkeit, sondern auch die Wirtschaftlichkeit Ihrer KI-Infrastruktur zu optimieren. Denn am Ende zählt nicht nur die Antwortqualität – sondern auch die Geschwindigkeit und Stabilität, mit der sie geliefert wird.