AI ajanlarınızın performansını izlemenin yeni yolu: Voker analitiği

AI ajanlarının kullanıcı ihtiyaçlarını karşılama oranını ölçmek, ürün ekipleri için uzun süredir çözümsüz bir sorun olmuştur. Bu boşluğu doldurmak üzere yola çıkan Voker, Y Combinator S24 programından destek aldı. Ekip, AI ajanlarının performansını izlemek ve kullanıcı deneyimini iyileştirmek için özel olarak tasarlanmış bir analitik platform geliştirdi.

AI ajanları için özel olarak tasarlanan analitik

Mevcut çözümler, mühendislerin bireysel izleri incelemesini gerektiren karmaşık araçlardan veya müşteri şikayetleriyle sınırlı kalmaya mahkûm yaklaşımlardan ibaret. Voker ise, kullanıcıların ajanlardan ne istediğini ve bu taleplerin ne ölçüde karşılandığını otomatik olarak analiz eden bir yapı sunuyor. Platform, Niyetler, Düzeltmeler ve Çözümler olmak üzere üç temel kavram üzerine kuruludur. Bu kavramlar, neredeyse tüm sohbet tabanlı ajanların karşılaştığı senaryoları tanımlar:

• Niyetler: Kullanıcının ajanla ilk temasındaki temel amacı.
• Düzeltmeler: Kullanıcının niyetini netleştirmek için yaptığı ek açıklamalar.
• Çözümler: Kullanıcının niyetinin ajan tarafından ne ölçüde karşılandığı.

Voker, bu verileri otomatik olarak sınıflandırarak ekiplerin ajan performansını yüksek düzeyde analiz etmesini sağlıyor. Böylece, bireysel konuşmaları tek tek incelemeye gerek kalmadan, kullanıcı davranışındaki genel eğilimleri hızlıca belirleyebiliyorsunuz.

Mevcut araçların eksikliklerine çözüm

AI ürün ekiplerinin karşılaştığı en büyük zorluklardan biri, ajan performansını üretim ortamında izleyebilmektir. Yapılan bir araştırmada, YC girişimlerinin %90’ından fazlası, ajanların kullanıcılara başarısız olduğunu sadece müşteri şikayetleriyle fark ettiklerini belirtti. Bu durum, ekiplerin sürekli olarak ayarları değiştirip yeni sorunlara yol açmasına neden oluyor.

Mevcut izleme araçları ise genellikle ya mühendislere yönelik (örneğin bireysel izlerin ayrıntılı incelenmesi) ya da belirli senaryoları test eden değerlendirme sistemleriyle sınırlı kalıyor. Geleneksel ürün analitiği araçları ise, tıklama oranları ve sayfa görüntülemeleri gibi yapısal verileri izlemek üzere tasarlandığından, serbest metin formatındaki kullanıcı taleplerini anlamakta yetersiz kalıyor. Voker ise, bu boşluğu doldurarak serbest metin verilerini otomatik olarak sınıflandırıyor ve kullanıcı niyetlerini net bir şekilde ortaya koyuyor.

Veri güvenilirliği ve SDK entegrasyonu

Bazı ekipler, iz kayıtlarını doğrudan büyük dil modellerine (LLM) yükleyerek özet çıkarmaya çalışıyor. Ancak bu yaklaşımın ciddi sınırlamaları var:

• LLM’ler matematiksel ve istatistiksel analizlerde tutarsız sonuçlar üretebilir.
• Verilerin elle veya programatik olarak sınıflandırılmaması, öznel ve güvenilir olmayan içgörülere yol açabilir.
• Elde edilen istatistikler, farklı sorgulamalarda tutarsızlık gösterebilir.

Voker ise, bu sorunları çözmek üzere veri mühendisliği odaklı bir yaklaşım benimsiyor. Platform, LLM çağrılarını otomatik olarak etiketleyerek kullanıcı niyetlerini ve düzeltmeleri tanımlıyor. Bu veriler, hiyerarşik metin sınıflandırma yöntemleriyle işlenerek anlamlı kategorilere dönüştürülüyor. Böylece, elde edilen analizler tutarlı, tekrarlanabilir ve güvenilir hale geliyor.

Teknik detaylar ve kullanım kolaylığı

Voker’in sunduğu SDK, Python ve TypeScript dillerinde mevcut olup, popüler LLM sağlayıcıları olan OpenAI, Anthropic ve Google’in Gemini modelleriyle entegre çalışıyor. Platform, veri toplama ve işleme sürecini otomatikleştirerek ekiplerin ajan performansını kolayca izlemesine olanak tanıyor.

Platformun ücretsiz katmanı, aylık 2.000 olay izleme hakkı sunarken, ücretli planlar 80 dolar/aydan başlıyor ve 30 günlük ücretsiz deneme imkanı içeriyor. Kurulum süreci oldukça basit olup, sadece birkaç satır kodla entegrasyon gerçekleştirilebiliyor:

from voker import VokerClient

client = VokerClient(api_key="YOUR_API_KEY")
client.track_event(event_type="user_intent", user_id="user_123", intent="sipariş_sorgula")

Geleceğe yönelik vizyon

Voker ekibi, AI ajanlarının kullanıcı deneyimini iyileştirmek için sürekli olarak yenilikler geliştirmeyi hedefliyor. Gelecekte, platformun daha da genişleyerek farklı endüstrilerdeki ajan uygulamalarına özel çözümler sunması planlanıyor. Ayrıca, kullanıcı geri bildirimlerini daha iyi değerlendirmek ve ajanların performansını otomatik olarak optimize etmek için makine öğrenmesi tabanlı öneri sistemleri üzerinde çalışıyorlar.

AI ürün ekipleri için hayati önem taşıyan bu boşluğu dolduran Voker, ajan performansını izlemek ve kullanıcı memnuniyetini artırmak isteyen tüm ekipler için güçlü bir araç sunuyor. Platformun sunduğu içgörülerle, ekipler artık ajanlarının gerçek performansını anlık olarak takip edebilir ve gerekli iyileştirmeleri hızlıca uygulayabilir.