AWS fatura uyarısı: Hangi proje gerçekten masraf yaptı?

Geçen ay Clew Directive adlı ücretsiz aracım için sadece 14 ziyaretçi aldım. Amazon’un fatura sistemiyse bana 31 dolar ödememi bildirdi. Bu, her ziyaretçinin maliyeti 2,21 dolar anlamına geliyordu — Kaliforniya’daki en pahalı ücretsiz öğrenim aracı olacaktı. Peki, gerçekte ne oldu?

Ücretsiz bir araç nasıl 31 dolarlık fatura üretir?

Clew Directive, kullanıcıların 60 saniyelik bir "Vibe Kontrol" testi doldurarak bireysel AI öğrenim yolları oluşturmasını sağlayan, hesap gerektirmeyen, veri depolamayan ve kişisel bilgileri kaydetmeyen bir araçtır. Proje, Amazon Nova modeli üzerinde çalıştığı için normalde çok düşük maliyetli olması gerekirdi. Ancak fatura 31 dolar olarak belirdiğinde, ortada bir sorun olduğunu hemen anladım.

Verilerdeki tutarsızlık: 14 ziyaretçinin ötesinde bir hikaye

Google Analytics benzeri bir araç olan Umami, aracın sadece 12 kişinin ziyaret ettiğini ve %93’ünün hemen çıkış yaptığını gösterdi. Kullanıcılar genellikle ABD, Hindistan, Hollanda ve Singapur gibi ülkelerden gelmişti. Listeye arama motoru botları ve GitHub’dan gelen tarayıcılar da eklenince, bu ziyaretçilerin tek başına 31 dolarlık bir fatura oluşturması imkansız hale geldi.

Amazon Q’nun ipucu: Yanlış model gösteriyor

AWS fatura takibinde Claude Sonnet modelinin kullanıldığı görülürken, Clew Directive’in kodunda hiçbir şekilde Sonnet kullanılmıyordu. Proje, Amazon Nova 2 Lite ve Nova Micro modelleriyle çalışıyordu. Bu da fatura artışının kullanıcı ziyaretlerinden değil, başka bir kaynaktan kaynaklandığını gösteriyordu.

Amazon Q’dan alınan yanıltıcı bilgiler

• Aynı model, Haiku’nun fiyatını gerçek oranın dörtte biri olarak gösterdi.
• Faturalandırma verileri, yalnızca 8 aktif günde 28 milyon token harcandığını ortaya koydu.
• %55’lik payla en büyük maliyet, önbellek yazma işlemlerinden kaynaklanıyordu.

Bu veriler, kullanıcı etkileşiminden çok daha karmaşık bir sürecin işlediğini gösteriyordu.

Gerçek suçlu: Başka bir projeden kaynaklanan masraf

Araştırmalarımın sonunda, yanlış projenin fatura aldığı ortaya çıktı. Vigil Crest adındaki başka bir aracım, Memorial Day hafta sonu boyunca yoğun şekilde kullanılmıştı. Bu araç, Claude Sonnet 4.6 modelini kullanıyor ve EC2 üzerinde sürekli çalışan bir instance’a sahipti.

Vigil Crest’in masrafları nasıl arttırdı?

• Araç, büyük bir önbellek dosyasını yükleyip tekrar tekrar okudu.
• Toplam 28 milyon token harcandı; bunun %70’i sadece iki günde gerçekleşti.
• Her token başına maliyet, beklenenin çok üzerindeydi.

Araç, hackathonlara katılmak için en iyi yarışmaları seçen bir yapay zeka ajanıydı ve sürekli olarak büyük miktarda veriyi işliyordu. Tüm bu işlemler, yanlış projeye fatura edilmesine neden oldu.

Doğru araçlarla doğru sonuçlar: Amazon Q ve insan analizi

Sorunun çözümünde iki unsur kritik rol oynadı:

• Amazon Q, AWS ortamına doğrudan erişerek gerçek kaynakları, faturaları ve IAM politikalarını analiz etti. Bu, manuel olarak yapılabilecek bir iş değildi.
• İnsan analiziyle verilerin doğru şekilde yorumlanması gerekti. Q’nun sunduğu veriler doğruydu, ancak yanlış projeye atıfta bulunuyordu.

Öğrenilen dersler

• Fatura takibi sadece miktarlarla sınırlı kalmamalı. Verilerin kaynağını, kullanım şeklini ve zamanını da analiz etmek gerekir.
• Araçlara güven, ancak verileri doğrula. Hem Q hem de Claude, doğru bilgiler sundu, ancak doğru çıkarımı yapmak insan müdahalesini gerektirdi.
• Her projenin kendi fatura profili vardır. Küçük bir aracın bile beklenmedik şekilde masraf yaratabileceğini unutmayın.

Gelecekteki adımlar: Daha şeffaf faturalandırma için ne yapılmalı?

Bu deneyimden sonra, her projede ayrı fatura takibi yapılması gerektiğine karar verdim. AWS’in Cost Allocation Tags özelliğini kullanarak her projeye özel etiketler ekleyeceğim. Ayrıca, ödeme uyarılarını daha erken ve daha hassas şekilde ayarlamak için AWS Budget’ı kullanmayı planlıyorum.

Ayrıca, gelecekteki projelerde daha küçük ölçekli ve kontrollü testler yapmayı hedefliyorum. Büyük modellerin kullanıldığı projelerde, token kullanımını optimize etmek için önbellek stratejilerini yeniden gözden geçirmek gerekebilir.

Sonuç olarak, herhangi bir projeye ait fatura artışı, o projenin kendisinden kaynaklanmayabilir. Doğru analiz ve doğru araçlarla, gerçek suçluyu bulmak hiç de zor değil.