30 GÜNLÜK LLM Kullanım Verileriyle Maliyetleri Nasıl Kontrol Edebilirsiniz?

Yapay zeka projelerinde çalışırken karşılaşılan en büyük sorunlardan biri, beklenmedik faturalar ve performans düşüklüğüdür. Birçok geliştirici, aylık kullanım raporlarını incelediğinde şaşkınlık yaşayabilir: "Bu kadar çok token kullanmamıştım!" ya da "Hangi model bu kadar masraflı?" gibi sorular sıkça gündeme gelir. İşte tam da bu sorunlara çözüm sunmak amacıyla geliştirilen Torrix, LLM kullanımınızı anlık olarak izleyen, maliyetleri token düzeyinde hesaplayan ve olağan dışı durumları otomatik olarak tespit eden bir platformdur.

Ancak, birçok self-hosted araçta olduğu gibi, Torrix'i kullanmaya başlamak için Docker kurulumu, sunucu ayarları ve uzun kurulum süreçleri gerekiyor. Bu da çoğu kullanıcının alet çantasından uzaklaşmasına neden oluyor. Bu sorunu aşmak için Torrix ekibi, kurulum gerektirmeyen, anında erişilebilir bir demo sundu. Hiçbir kayıt gerekmiyor, sadece tıklayın ve verileri keşfedin.

Demo Nasıl Hazırlandı? 30 Günlük Gerçek Verilerle Test Edildi

Torrix demo versiyonu, üç farklı senaryoda 30 gün boyunca gerçekleşen LLM çağrılarını simüle ediyor. Bu senaryolar şu şekilde yapılandırıldı:

• Üretim API’si: GPT-4o ve Claude Sonnet kullanılarak yapılan kullanıcı istekleri
• Veri İşleme Penceresi: Toplu özetleme işlemleri, ağır yükler için GPT-4o-mini
• Müşteri Destek Botu: Basit sorgular için Haiku, karmaşık sorgular için Sonnet kullanılarak model yönlendirmesi

Toplamda 640 kez çağrı yapıldı, beş farklı model kullanıldı ve gerçek maliyetler ile token bilgileri kaydedildi. Demo, salt okunur bir şekilde tasarlandı; hiçbir değişiklik kaydedilmiyor ve veriler her dağıtımdan sonra sıfırlanıyor.

Demo İçinde Neler Var? 5 Kritik İçgörü

Torrix demo aracını kullanarak, LLM kullanımınızla ilgili şu önemli verileri keşfedebilirsiniz:

1. Maliyet Patlamasını Anında Tespit Edin

Demo üzerinde yaptığımız analizlerde, 14. ve 15. günlerde olağan dışı bir artış gözlemlendi. Normalde günde sadece 18 çağrı yapılırken, bu iki günde çağrı sayısı üç katına çıkarak 55’e ulaştı. Torrix, bu olağan dışı artışları otomatik olarak "SPIKE" olarak etiketliyor. Tek bir tıklama ile, hangi prompt’un, hangi modelin ve kaç token’in bu artışa sebep olduğunu ayrıntılı olarak inceleyebilirsiniz.

2. Gizli Masraf Yapan Modeli Belirleyin

Claude 3.5 Sonnet, trafiğin sadece %35’ini oluşturmasına rağmen toplam maliyetin %80’inden fazlasını tüketiyor. Buna karşılık, GPT-4o-mini trafiğin %20’sini karşılarken maliyet sadece %5 civarında kalıyor. Torrix’in Analytics bölümünde bu karşılaştırma anında yapılabiliyor; hiçbir SQL sorgusu ya da veri dışa aktarma işlemi gerekmiyor.

3. Tüm Süreci Tek Ekranda İzleyin: 5 Adımlı Bir Agent İzleme Sistemi

Demo, tam bir iş akışı izleme sistemi içeriyor. Her adım ayrıntılı olarak kaydediliyor:

• Orkestratör (Orchestrator): Süreci başlatır
• Araştırmacı (Researcher): Veri toplar
• Sentezleyici (Synthesizer): Bilgiyi birleştirir
• Biçimlendirici (Formatter): Çıktıyı hazırlar
• Doğrulayıcı (Validator): Sonucu kontrol eder

Her adımın ne kadar sürede tamamlandığı, hangi prompt’un kullanıldığı ve tüm akıl yürütme zinciri tek bir ekranda görüntülenebiliyor.

4. Üç Farklı Veri Setinde Başarı Oranlarını Görün

Torrix, demo üzerinde üç farklı test veri seti üzerinden değerlendirme sonuçlarını sunuyor:

• Başkentler Bilgi Yarışması: %70 başarı oranı
• Müşteri SSS Sınıflandırma: %87.5 başarı oranı
• E-posta Sınıflandırma: %75 başarı oranı

Her testte başarısız olan satırlar, beklenen ve gerçekleşen sonuçlar karşılaştırmalı olarak gösteriliyor. Bu sayede, modelinizin zayıf noktalarını kolayca tespit edebilirsiniz.

5. Gerçek Zamanlı SQL Sorgularıyla Verilere Erişin

Torrix’in altında SQLite veritabanı kullanılıyor ve demo üzerinde doğrudan SQL sorguları çalıştırabiliyorsunuz. Örneğin, en çok maliyet oluşturan modeli bulmak için aşağıdaki sorguyu kullanabilirsiniz:

SELECT model, COUNT(*) AS runs, SUM(cost_usd) AS total_cost 
FROM runs 
GROUP BY model 
ORDER BY total_cost DESC;

Sorgunun sonucu CSV dosyası olarak dışa aktarılabiliyor ve veritabanı şeması hakkında ayrıntılı bilgi edinilebiliyor.

Demo Nasıl Çalışıyor? Sıfır Kurulum, Sıfır Risk

Torrix demo versiyonu, TORRIX_DEMO=true ortam değişkeni ile başlatılıyor. Uygulama başladığında, önceden hazırlanmış bir SQLite veritabanı kopyalanıyor. Tüm yazma uç noktaları 403 Hata kodu ile engelleniyor, böylece veri bütünlüğü korunuyor. Uygulama Fly.io üzerinde barındırılıyor ve her dağıtımdan sonra veriler sıfırlanıyor, böylece demo her zaman aynı durumda kalıyor.

Torrix, yalnızca LLM kullanımınızı izlemekle kalmıyor, aynı zamanda maliyetleri kontrol altında tutmanıza ve performans sorunlarını hızlıca çözmenize yardımcı oluyor. Demo versiyonunu denemek için hiçbir kayıt gerekmiyor. Eğer kendi sunucunuza kurmak istiyorsanız, sadece aşağıdaki komutu çalıştırmanız yeterli:

docker run -d -p 8088:8088 -v torrix_data:/data torrixai/torrix:latest

Torrix, yapay zeka projelerinizdeki gizli maliyetleri ve performans sorunlarını ortaya çıkarmak için güçlü bir araç sunuyor. Demo versiyonunu kullanarak, LLM kullanımınızı nasıl optimize edebileceğinizi keşfedebilir ve gerçek verilerle stratejilerinizi geliştirebilirsiniz. Ücretsiz olarak erişebileceğiniz bu demo, yapay zeka projelerinizin maliyet etkinliğini artırmanızda önemli bir adım olabilir.