Benchmark-Studien richtig einordnen: Wie Hersteller Ergebnisse manipulieren

Manipulierte Benchmarks sind kein Einzelfall – sie folgen oft einem klaren Muster. Ein kürzlich veröffentlichter Vergleichstest von F5 für Kubernetes-Load-Balancing zeigt, wie Hersteller gezielt Testbedingungen wählen, um ihre Produkte in einem vorteilhaften Licht darzustellen. Doch wer genau hinschaut, erkennt schnell: Nicht die Technologie gewinnt, sondern die künstlich geschaffene Überlegenheit.

Warum dieser Test von Anfang an zum Scheitern verurteilt war

Im März 2026 veröffentlichte das Tolly-Labor den Bericht #226104, der von F5 in Auftrag gegeben wurde. Ziel war ein Vergleich zwischen F5s BIG-IP Next für Kubernetes – betrieben auf einem NVIDIA BlueField DPU – und drei Open-Source-Load-Balancern: HAProxy, Envoy sowie einem dritten, namenlosen Open-Source-Tool. Der zentrale Claim: F5s Lösung übertrumpfe die Konkurrenz in Sachen Token-Durchsatz, Antwortzeit und CPU-Nutzung in KI-Inferenzclustern.

Doch der Test war von Anfang an so konstruiert, dass er nur ein Ergebnis liefern konnte. Die Tester luden vor jedem Durchlauf manuell 50 % der GPUs im Cluster mit Hintergrundverkehr, ohne diesen über die Load-Balancer zu leiten. Anschließend wurde der echte Traffic über die verschiedenen Systeme geleitet. F5s Produkt ist darauf ausgelegt, GPU-Auslastung zu erkennen und Anfragen gezielt an weniger ausgelastete Beschleuniger zu verteilen. Die Open-Source-Tools hingegen wurden standardmäßig mit einem simplen Round-Robin-Algorithmus konfiguriert – also einer Methode, die Anfragen gleichmäßig auf alle Backends verteilt, unabhängig von deren aktueller Auslastung.

Das Problem: Kein erfahrener Administrator würde Round Robin in einem Cluster einsetzen, in dem die Hälfte der GPUs bereits überlastet ist. Moderne Load-Balancer wie HAProxy oder Envoy bieten dynamische, lastabhängige Routing-Algorithmen, die genau für solche Szenarien entwickelt wurden. Doch diese Funktionen blieben in diesem Test deaktiviert. Statt eines fairen Vergleichs wurde ein System gegen eine absichtlich schlechte Konfiguration antreten lassen – und die Niederlage der Open-Source-Tools war damit von vornherein besiegelt.

Hardware-Tricks statt Software-Effizienz

Ein weiterer zentraler Punkt des Berichts ist die CPU-Nutzung: F5s Lösung benötigte laut Test etwa 2 CPU-Kerne, während HAProxy rund 12 von 16 verfügbaren Kernen verbrauchte. Auf den ersten Blick wirkt das wie ein deutlicher Effizienzvorteil von F5s Software. Doch der Unterschied lässt sich leicht erklären – und hat wenig mit der eigentlichen Leistungsfähigkeit der Algorithmen zu tun.

F5s BIG-IP Next nutzt einen NVIDIA BlueField DPU, einen spezialisierten Netzwerkprozessor mit eigenen ARM-Kernen. Die gesamte Load-Balancing-Logik läuft auf diesem separaten Chip, während HAProxy direkt auf den Host-CPUs des Clusters ausgeführt wird. Dass die Host-CPUs weniger belastet werden, wenn die Arbeit auf ein dediziertes Hardware-Modul ausgelagert wird, ist kein Geheimnis – das ist schließlich der Sinn von Offload-Technologien. Der Vergleich ist daher ähnlich aussagekräftig wie ein Wettrennen, bei dem ein Teilnehmer ein Motorrad benutzt und der andere zu Fuß läuft. Die Effizienz des Fahrers spielt dabei keine Rolle.

So erkennen Sie manipulierte Benchmarks in Zukunft

Nicht jeder Benchmark ist automatisch wertlos – aber es lohnt sich, kritisch zu hinterfragen, wer ihn in Auftrag gegeben hat und wie das Experiment aufgebaut wurde. Hier sind die wichtigsten Indizien für eine vorbelastete Studie:

• Folgen Sie dem Geld. Wer profitiert von den Ergebnissen? Im Fall des Tolly-Berichts war es F5, ein Unternehmen, das seine eigene Lösung beworben hat. Das allein ist kein Beweis für Manipulation, sollte aber die Erwartungshaltung erhöhen.

• Achten Sie auf mehrere Variable. Ein guter Test verändert nur eine Rahmenbedingung, um klare Schlussfolgerungen zu ermöglichen. In diesem Bericht wurden jedoch gleich drei Faktoren gleichzeitig angepasst: die Hardware-Plattform (DPU vs. Host-CPU), der Routing-Algorithmus (lastabhängig vs. Round Robin) und die Software-Reife. Wenn so viele Variablen im Spiel sind, lässt sich das Ergebnis nicht mehr eindeutig einer einzelnen Komponente zuordnen.

• Prüfen Sie die Baseline. Wurde der unterlegene Konkurrent fair behandelt oder gezielt benachteiligt? Der Einsatz von Round Robin in einem halb überlasteten Cluster ist kein realistisches Szenario – es ist eine künstliche Schwäche, die nur dazu dient, das gegnerische Produkt schlecht dastehen zu lassen.

• Achten Sie auf selektive Daten. Der Bericht wirbt mit Spitzenwerten von bis zu 40 %, 61 % oder sogar 406 %. Doch diese Zahlen stammen aus unterschiedlichen Vergleichen: 21 % Durchsatzvorteil gegenüber Envoy, 17 % schnellere Antwortzeit, und die spektakulären 114 % bzw. 406 % nur bei kleineren Modellen – und dann auch nur gegen HAProxy. Solche selektiven Auswertungen sind ein klassisches Zeichen für Cherry-Picking.

• Können Sie den Test reproduzieren? Ein guter Benchmark muss nachvollziehbar sein. Im Fall des Tolly-Berichts fehlen jedoch entscheidende Details: Der dritte Open-Source-Konkurrent bleibt anonym, frühe Software-Versionen wurden getestet, und die genauen Konfigurationen wurden nicht veröffentlicht. Ohne diese Transparenz ist eine unabhängige Überprüfung unmöglich.

Fazit: Transparenz ist der Schlüssel zu fairen Vergleichen

Benchmark-Studien sind ein mächtiges Werkzeug, um die Leistungsfähigkeit von Technologien zu bewerten – aber sie sind auch anfällig für Manipulation. Hersteller, die ihre Produkte bewerben wollen, haben ein natürliches Interesse daran, Tests so zu gestalten, dass ihre Lösung am besten abschneidet. Das bedeutet nicht, dass alle Benchmarks automatisch ungültig sind. Es bedeutet jedoch, dass Sie als Leser kritisch bleiben und nicht jedes Ergebnis blind übernehmen sollten.

Der beste Weg, um manipulierte Studien zu entlarven, ist Transparenz: Wer hat den Test in Auftrag gegeben? Welche Konfigurationen wurden verwendet? Und vor allem: Könnten die Ergebnisse anders ausfallen, wenn die Rahmenbedingungen fairer gewählt worden wären? Wenn diese Fragen nicht eindeutig beantwortet werden können, ist Vorsicht geboten. Denn am Ende geht es nicht darum, wer in einem künstlich konstruierten Szenario gewinnt – sondern darum, welche Lösung in der realen Welt die besten Ergebnisse liefert.