Sponsorlu benchmarklar nasıl yanıltıcı sonuçlara yol açabilir? Gerçek testi nasıl ayırt edersiniz?

Teknoloji dünyasında sıkça karşılaştığımız sponsorlu benchmarklar, pazarlama mesajlarından ibaret olsa da, çoğu zaman deneyin nasıl kurulduğuna ve sonuçların ne kadar adil olduğuna dikkat etmiyoruz. Son dönemde yayınlanan bir benchmark raporu, bu konuda önemli dersler sunuyor. Özellikle Tolly #226104 olarak adlandırılan ve F5 tarafından finanse edilen bu çalışma, AI yük dengeleme konusunda oldukça tartışmalı bir yaklaşım sergiliyor.

Rapor, F5’in BIG-IP Next for Kubernetes adlı ürününün, NVIDIA BlueField DPU üzerinde çalışan AI çıkarım kümelerinde, açık kaynaklı yük dengeleyicilere (HAProxy, Envoy ve üçüncü bir isimlendirilmemiş çözüm) kıyasla nasıl üstün performans gösterdiğini iddia ediyor. Ancak detaylara inildikçe, deneyin önceden belirlenmiş bir sonuca ulaşmak için kurgulandığı ortaya çıkıyor. Bu da benchmarkların neden güvenilir olmadığını anlamamızı sağlıyor.

Deney düzeneği nasıl manipüle edildi?

Raporun en büyük sorunu, deneyin kurulum aşamasından itibaren sonuçlarının baştan belli olması. Testler şu şekilde gerçekleştirildi:

• Her çalıştırma öncesinde, test ekibi GPU’ların %50’sine elle arka plan trafiği yükledi. Bu trafik, hiçbir yük dengeleyiciye uğramadan doğrudan GPU’lara gönderildi.
• Ardından, her bir yük dengeleyiciye gerçek trafik gönderildi ve performans ölçüldü.

F5’in ürünü, GPU yükünü izleyerek trafiği boşta kalan hızlandırıcılara yönlendirme özelliğine sahipken, açık kaynaklı çözümler (HAProxy, Envoy) sıradan round-robin (dairesel) algoritma ile yapılandırıldı. Bu da, F5’in avantajlı durumunu baştan belirledi. Açık kaynaklı araçların, zaten aşırı yüklenmiş GPU’lara trafik yönlendirmesi, performans düşüşüne neden olacaktı — ki bu zaten deneyin amacıydı.

Oysa hiçbir yetkin mühendis, statik round-robin’i yarı yarıya yüklenmiş bir kümeye yönlendirmezdi. Hem HAProxy hem de Envoy, dinamik yük dengeleme ve sağlık kontrolleri gibi özelliklere sahipken, bu seçenekler kasten devre dışı bırakıldı. Yani açık kaynaklı araçlar, en zayıf haliyle test edildi ve elbette başarısız oldular.

CPU kullanımı: Donanım avantajı mı, yazılım üstünlüğü mü?

Raporun bir diğer dikkat çekici iddiası, F5’in sadece 2 CPU çekirdeği kullanırken, HAProxy’nin 12 çekirdek tükettiği. Bu da yaklaşık %80’lik bir fark anlamına geliyor.

Ancak bu karşılaştırma tamamen adil değil. F5’in çözümü, ayrı bir ARM çekirdeği bulunan NVIDIA BlueField DPU üzerinde çalışırken, HAProxy doğrudan ana sistemde çalışıyordu. Yani F5, yük dengeleme işini donanıma devrederek ana sistemin CPU’sunu boş bırakırken, HAProxy tüm işi ana sistemde yaptı. Bu, offload (yük aktarımı) donanımının temel amacıdır ve herhangi bir benchmarkta beklenen bir sonuçtur.

Bu durumu, bisiklet yarışında motosiklet kullanıp hız rekoru kırdığınızda, aslında bisikletinizi değil motosikleti övmeniz gibi düşünebilirsiniz. Rapor, F5’in yazılım verimliliğini öne sürse de, gerçekte donanım avantajını ölçüyor.

Her benchmarkı okurken dikkat edilmesi gerekenler

Sponsorlu benchmarkların nasıl manipüle edildiğini anlamak, gelecekteki kararlarınızı etkileyebilir. İşte bir raporu değerlendirirken izlemeniz gereken adımlar:

• Paranın kaynağına bakın. Rapor kimin tarafından finanse edildi? F5’in bu raporu hazırlatması, otomatik olarak kötü olduğunu göstermez — ancak sonuçların çıkar çatışması olasılığını akla getirir. Bağımsız üçüncü taraflarca yapılan araştırmalar, genellikle daha güvenilir kabul edilir.

• Değişkenleri sayın. Temiz bir deneyde tek bir değişken değiştirilir. Bu raporda ise üç farklı değişken aynı anda değiştirildi:
• Donanım platformu (DPU vs. ana sistem)
• Yönlendirme algoritması (GPU-yükü farkındalığı vs. round-robin)
• Yazılım olgunluğu

Sonuçlar, bu değişkenlerin birlikte nasıl hareket ettiğine bağlı olarak ortaya çıktı. Bu da, hangi faktörün asıl galip geldiğini belirlemeyi imkansız kılıyor.

• Başlangıç koşullarını sorgulayın. Açık kaynaklı yük dengeleyiciler, doğrudan yenilmek için kuruldu. Round-robin, zaten yarı yarıya yüklenmiş bir kümeye trafik yönlendirmek için en kötü seçenekti. Oysa HAProxy’nin dinamik yük dengelemesi gibi özellikleri etkinleştirilseydi, sonuçlar çok farklı olabilirdi.

• Seçici veri kullanımına dikkat edin. Raporun başlıklarında yer alan "%40 / %61 / %34" gibi oranlar, en kötü rakibe karşı elde edilen en yüksek değerler. Örneğin, Envoy’a karşı yalnızca %21’lik bir avantaj varken, üçüncü rakibe karşı %114 ve %406 gibi şaşırtıcı sayılar elde edildi — ancak bu testler sadece HAProxy’ye karşı yapıldı.

• Tekrarlanabilirliği kontrol edin. Rapor, üçüncü bir rakibin adını bile belirtmiyor ve yapılandırma dosyalarını yayınlamıyor. Bu da, sonuçların bağımsız olarak doğrulanmasını imkansız kılıyor. Gerçek bilimsel veriler, diğer araştırmacılar tarafından tekrarlandığında güvenilir hale gelir.

Tolly gibi kuruluşlar, genellikle yöntemlerini ayrıntılı olarak belirtse de, sponsorlu çalışmaların sonuçlarını her zaman sorgulamak gerekiyor.

Gelecekteki benchmarklara nasıl yaklaşmalı?

Teknoloji dünyasında karar alırken veriye dayanmak kritik önem taşıyor. Ancak bu verilerin nasıl toplandığı ve sunulduğu, sonuçların güvenilirliğini doğrudan etkiliyor. Gelecekte karşılaşacağınız benchmarkları değerlendirirken:

• Sponsorun kim olduğunu sorun. Ürün sahibi şirketlerin finanse ettiği araştırmalar, otomatik olarak taraflı değildir — ancak sonuçların nasıl sunulduğunu dikkatlice inceleyin.
• Deney düzeneğini öğrenin. Bir benchmarkın sonuçlarını anlamak için, hangi koşullarda test edildiğini bilmeniz gerekir. Eğer bir araç, kasten zayıf bir şekilde test edildiyse, sonuçlarına güvenmeyin.
• Bağımsız doğrulamaları arayın. En güvenilir veriler, üçüncü taraf araştırmalarından veya açık kaynaklı topluluklardan gelir. Örneğin, Kubernetes topluluğunun kendi benchmarklarını yapması, daha adil sonuçlar verebilir.

Sonuç olarak, sponsorlu benchmarklar, pazarlama mesajlarından ibaret olabilir. Onları okurken, sonucun nasıl elde edildiğini sorgulamak, daha bilinçli kararlar almanızı sağlayacaktır.