GPU Kümelerinizin %95’ini Boş Geçiriyorsunuz! Bu Gerçeği Bilmeniz Gerekiyor

Bilindiği üzere, GPU kullanım oranlarını gösteren panellerinizde %40’lık bir değer okunuyor. Kümenin sağlıklı olduğunu, GPU’ların yüklendiğini düşünüyorsunuz. Oysa durum hiç de öyle değil.

Bu %40’lık değer, izleme penceresindeki ortalama bir tepe noktasıdır. Gerçekte, talepteki ani bir artıştan sonra kuyruk boşaldığında kümelenme 40 dakika boyunca tamamen tahsis edilmiş halde bekliyor olabilir. Bu sırada sadece iki düğümün rahatlıkla karşılayabileceği birkaç talep geliyor. Kümeniz yeterli değil, sadece yanlış fiyatlandırılmış durumda.

Bu sorunun kökü planlama anında değil, tasarım aşamasında atıldı. Sadece izleme verilerine odaklanmak yerine, asıl problemi anlamak için GPU kullanımının ardındaki gerçekleri doğru okumak gerekiyor.

GPU Kullanım Verileri Neden Yanıltıcı?

Çoğu izleme aracı, bellek yerleşimi ile hesaplama aktivitesi arasında neredeyse hiçbir ayrım yapmıyor. Bir GPU model ağırlıkları belleğe yüklenmiş, tensörler hazırlanmış, çıkarım motoru çalışır durumda olabilir. Ancak hiçbir çıktı üretmiyor olabilir.

Kubernetes’in GPU kaynak modeli, atamayı ikili bir duruma indirgiyor: tahsis edilmiş ya da edilmedi. Oysa bellek yerleşimi ile hesaplama aktivitesi tamamen farklı şeylerdir. Donanım tahsis edilmiş durumda olabilir, ancak çalışmıyor olabilir. Yüklenmiş olmak, aktif olmak demek değildir.

Bu durum, çoğu ekibin bellek yerleşimini GPU kullanımının bir göstergesi olarak kabul etmesinden kaynaklanıyor. Oysa bellekteki bir modelin varlığı, GPU’nun çalıştığı anlamına gelmiyor. Bu basit varsayım, AI kapasitesinin yanlış fiyatlandırılmasının en büyük nedenlerinden biri haline geliyor.

GPU Kullanımındaki Üç Farklı Boşta Kalma Türü

Her boşta kalma durumu aynı değildir. Mimariyi iyileştirmeden önce, hangi tür boşta kalma sorununuz olduğunu tanımlamanız gerekiyor.

• Toplu Boşta Kalma (Batch Idle): Eğitim işlemleri arasındaki boşluklar. Küme, soğuk başlangıç maliyetleri yüksek olduğu için sıcak kalıyor. Bu boşluklar, eğitim programı boyunca tam küme maliyetiyle fiyatlandırılan saf boşta kalma süresine denk geliyor.

• Çıkarım Boşta Kalma (Inference Idle): Model bellekte yüklü, çıkarım motoru çalışır durumda, ancak talepler kümenin boyutlandırıldığı hıza ulaşmıyor. GPU kullanım verileri, GPU’ların dolu olduğunu gösteriyor. Bellek kullanımı gerçek, hesaplama kullanımı ise değil.

• Boyutlandırma Boşta Kalma (Provisioning Idle): En erken ve en pahalı boşta kalma türü. Küme, henüz gerçekleşmemiş bir talebe göre boyutlandırılmış durumda. Örneğin, üçüncü çeyrek için planlanan talep ya da altı hafta sonra devreye alınacak büyük model çalışması. Donanım çalışır durumda, maliyet devam ediyor, ancak talep sadece planlama dokümanında var.

Bu üç durumun ortak noktası, talep eğrisinin hiçbir zaman doğru şekilde modellenmemiş olmasıdır.

Bu Aslında Bir Tahminleme Başarısızlığı

Bu sorun genellikle "kullanım oranı" olarak tanımlanıyor. Çözümün daha iyi planlama, paketleme ya da otomatik ölçeklendirme olduğu düşünülüyor. Ancak bu çerçeve yanlış.

Düşük kullanım oranı bir çıktıdır. Girdi, yetersiz talep tahminine dayalı bir boyutlandırma kararıdır. Peki, tahminleme sırasında neler gözden kaçırıldı?

• Talep eğrisi hiç modellenmedi. Ekipler teorik tepe noktasına göre boyutlandırdı, ancak tipik işletim penceresindeki gerçek talep dağılımını ölçmedi. Tepe noktası gerçek, ancak nadiren yaşanıyor.

• Eşzamanlılık varsayımla değil, ölçümle belirlendi. Çoğu boyutlandırma kararı, kümenin tek bir talebi ne kadar hızlı karşılayabileceğine dayanıyordu. Oysa gerçek dünya senaryolarında eşzamanlı taleplerin dağılımı önemliydi.

• Bellek yerleşimi throughput olarak değerlendirildi. VRAM’de 70 milyar parametreli bir model yüklü olan bir GPU, kapasitede çalışıyor değildir. Sadece çok pahalı bir rezervasyondur.

• Çalıştırma sınırları hiç belirlenmedi. Çalıştırma bütçeleri olmadan küme, mevcut boşluğu dolduracak şekilde genişliyor. Boşluk ise teorik tepe noktasına göre öngörüldüğü için fazlasıyla inşa edilmişti. Çoğu ekip talep eğrisini modellemedi. Teorik tepe noktasına göre boyutlandırdı, gelecekteki eşzamanlılığı varsaydı ve bellekte yüklü olmanın aktif çalışma anlamına geldiğini kabul etti.

Talep eşzamanlılığını boyutlandırma öncesinde ölçtünüz mü, yoksa sadece hayal edebildiğiniz en yoğun saate mi göre boyutlandırdınız?

Gerçek Rakamlar Ne Diyor?

Bir küme 8 adet A100 GPU’dan oluşuyor ve aylık toplam sahip olma maliyeti yaklaşık 38.000 dolar. Sürdürülen kullanım oranı %5 ise:

• Aylık küme maliyeti: 38.000 dolar
• Sürdürülen kullanım oranı: %5
• Üretken hesaplama ayda: 1.900 dolar
• Boşta hesaplama ayda: 36.100 dolar
• Yıllık tahminleme hatası: 433.200 dolar

Bu, sadece biraz verimsiz bir küme değil. Bu, her ay düzeltilmeyen varsayımların katlanarak büyüdüğü, altı haneli bir mimari kısıtlamadır.

Bu Bir Planlama Sorunu, Ölçeklendirme Sorunu Değil

Düşük GPU kullanımına standart yanıt, planlama araçlarını iyileştirmek oluyor: Volcano’yu devreye almak, KEDA’yı ayarlamak ya da DCGM tabanlı otomatik ölçeklendirme uygulamak.

Bu araçlar gerçek problemleri çözer. Ancak bu sorunu değil.

Planlama araçları, doğru şekilde boyutlandırılmış çalışmaların yürütülmesini optimize eder. Oysa tasarım aşamasında yanlış yapılan bir talep tahmini, planlama araçlarıyla düzeltilemez. Küme gerçek talebe göre 10 kat fazla boyutlandırılmışsa, daha iyi bir planlama aracı sadece daha verimli boşta duran bir küme üretir.

Planlama araçları çalışmayı dağıtabilir. Yanlış tahmin edilmiş talebi düzeltemez.

Bu düzeltme kümenin var olmasından önce, talep eğrisini doğru şekilde çizen bir planlama anında yapılır.

Mimarların Kararı

GPU kullanım sorunu bir kullanım sorunu değildir. Bu, GPU kullanım verilerine yansıyan, planlama sorunu olarak teşhis edilen ve her fatura döneminde kök nedenin büyümesine izin verilen bir tahminleme başarısızlığıdır.

Merkezi hata, bellek yerleşimini hesaplama aktivitesi olarak görmektir. Batch, çıkarım ve boyutlandırma boşta kalma türlerinin tümü, doğru şekilde çizilmemiş ya da teorik maksimumlara dayalı olarak yanlış şekilde çizilmiş bir talep eğrisine kadar izlenebilir.

Bu sorunu çözen ekipler, daha sofistike planlama araçları çalıştıranlar değil. Gerçek talep dağılımlarına göre boyutlandırma yapan, varsayımlar yerine ölçümlerden elde edilen eşzamanlılığı modelleyen ve bellekte yüklü olmayı tam da olduğu gibi — pahalı bir yer tutucu olarak görenlerdir.

Talep eğrisini doğru çizin.