Bir günde, Android telefonumdan, Termux kullanarak bir üretim GPU enerji optimizatörü geliştirdim. MacBook veya bulut VM kullanmadım, sadece Android telefonumdan Termux kullanarak bunu başardım. Geliştirdiğim özellikler arasında gerçek zamanlı GPU enerji panosu, DESYNC ve GHOST güç anormallik tespiti, 17 bulut sağlayıcı desteği, kullanıcı başına API anahtarları, 100'den fazla GPU için zaman serisi ölçekleme ve 18/18 duman testlerinin geçilmesi yer alıyor.
Problemin Tanımı
GPU sağlayıcıları yalan söylemez, ancak telemetri desenkronizasyonu gerçek bir sorundur. İki başarısızlık modu enerji bütçenizi öldürür: DESYNC ve GHOST güç. DESYNC, GPU'nun 420W çektiği halde %8 kullanım raporu vermesi ve böylece boşta olan bir GPU için tam fiyat ödemeniz demektir. GHOST güç ise GPU'nun 40W çektiği halde %98 kullanım raporu vermesi ve bu verilerin fiziksel olarak imkansız olmasıdır. Bu sorunları AWS ve Vast.ai'de test ederken bulduk.
Çözüm
Otomatik olarak DESYNC ve GHOST anormalliklerini tespit eden, 17 GPU bulut sağlayıcısı arasında çalışan, kötü iş yüklerini Kubernetes veya Run:ai aracılığıyla atabilen, Slack aracılığıyla uyarı verebilen ve 100'den fazla GPU için zaman serisi verilerini depolayabilen bir açık doğrulama yığını geliştirdik.
Ne Yaptık
Bileşen durumları, CEI formal spesifikasyonu, Grafana panosu, GPU ajanı betiği, kullanıcı başına API anahtarları, zaman serisi veritabanı ve 17 sağlayıcı doğrulayıcı gibi özellikleri geliştirdik. Ayrıca 18/18 duman testini geçtik ve Docker bir satırlı kurulumu sağladık.
Termux Neden
Hiçbir laptop veya bulut IDE kullanmadım, sadece Android telefonumla Termux kullandım. Bu önemli çünkü yığının herhangi bir yerde çalışabilmesi için yeterli derecede hafif olduğunu kanıtlar. Bir telefonunkine benzer bir yığın, herhangi bir çıplak metal sunucu, VPS veya kenar düğümünde çalışabilir.
60 Saniyelik Kurulum
Docker kurulumu (zaten kuruluysa atlayın) curl -fsSL | sh Klonlama ve çalıştırma git clone ai-gpu-energy-optimizer- docker-compose up
Geleceğe dönük olarak, GPU enerji optimizasyonu için daha da gelişmiş çözümler geliştirmeyi umuyoruz. Bu, daha verimli ve daha az enerji tüketen GPU'lar için yeni fırsatlar sunabilir.
Yapay zeka özeti
Üretimde GPU enerji optimizasyonu için geliştirilen bir çözümü keşfedin. Gerçek zamanlı enerji panosu, DESYNC ve GHOST güç anormallik tespiti ve 17 bulut sağlayıcı desteği gibi özelliklere sahip.
