AI Ajanı İnşaa Etmeye Ne Zaman İhtiyaç Yok?

Bir SaaS şirketinin kurucusu, CTO'sunun bir 'ajantik AI' satıcıdan gelen bir öneriyi değerlendirmesini istedi. Plan, on sekiz ajan, bir planlayıcı LLM, bir uygulayıcı LLM, bir eleştiri LLM, altı aylik bir inşa ve model harcamalarında beş katlık bir artış içeriyordu.

Şu anda ürün, faturalama portalı hakkında gelen müşteri FAQ'lerine cevap veren bir sohbet botuydu. Gelen soruların yaklaşık %80'i 'faturamı PDF olarak nasıl dışa aktaracağım?' sorusunun beş farklı varyasyonu idi. Kalan %20'si ise sohbet botu cevaplayamadığı için insan ajanına yönlendiriliyordu.

Sapota, kurucuya mevcut.promt'a bir cümle eklemesini ve ajantik planı geri plana almasını önerdi.

Bir AI Ajanı Nedir?

Pazarlama konuşmalarını bir kenara bırakırsak, bir ajan üç şeyden oluşur: araçlar, hafıza ve otonomi. Otonomi kısmı, bir ajanı regular bir LLM'den ayıran şeydir. Bir regular RAG pipeline'da, LLM bir yanıt üretmek için belirli bir akışta çalışır. Bir ajan ise her adımda ne yapacağını kendisi quyếtir.

Bu yetenek bazı görevler için gerçekten kullanışlıdır, ancak her görev için uygun değildir. Bir ajan, regular bir LLM çağrısına göre beş ila on beş kat daha pahalıdır ve iki ila on kat daha yavaştır.

Tek Soru Testi

Sapota'nın filtresi bir sorudur: dobře yazılmış bir promt bu görevi tamamlayabilir mi? Eğer evet ise, bir ajan inşa etmeyin. Promt'ı kullanın.

Eğer hayır ise, şu soruyu sorunuz: iki adımlı bir pipeline (al ve üret) bu görevi tamamlayabilir mi? Eğer evet ise, bir RAG pipeline inşa edin, bir ajan değil.

Eğer hala hayır ise, şu soruyu sorunuz: görev gerçekten nächsten adımları hakkında dinamik kararlar gerektiriyor mu, yoksa geliştirici sadece nächsten adımların ne olması gerektiğini bilmiyor mu? Eğer latter ise, nächsten adımları yazın. Akışın tasarlanmasıyla ilgili rahatsızlık, bir LLM'ye devredilmesi için bir neden değildir.

Kurucu'nun Sohbet Botu'nun Gerçekten İhtiyacı Ne idi?

%80'in üzerindeki tekrarlanan sorular, bir promt problemiydi. Orijinal promt şöyle bir şeydi: 'Siz bir yardımsever müşteri destek asistanısınız. Kullanıcının sorusunu cevaplayın.'

Çözüm, aşağıdaki cümleyi eklemekti: 'Eğer kullanıcı fatura dışa aktarmak hakkında soru sorarsa, şu yanıtı verin: 'Ayarlar → Faturalama → Dışa Aktar'a tıklayın. PDF formatını ve tarih aralığını seçin.' Sonra onlara başka bir şey cầnip ihtiyaç duyup duymadıklarını sorun.'

Bu tek bir cümle, %80'in üzerindeki gelen hacmi çözdü. Hiçbir ajan gerekmedi. Hiçbir satıcı gerekmedi. Üç dakikalık iş.

Kalan %20 (sohbet botu cevaplayamadığı sorular) iki kategoriye ayrıldı. yaklaşık %12'si müşterinin hesap durumuna özgü idi ve bunlar gerçekten bir araç çağrısına ihtiyaç duyuyordu. Kalan %8'i ise insanlara yönlendirilmeleri gereken kenar durumları idi.

Doğru mimari, bir tek-promt'lu sohbet botu ile bir araç (hesap arama) ve insanlara yönlendirme idi. İki günün işi. Sorgu başına maliyet $0.005'in altında kaldı. Ajantik öneri, sorgu başına $0.05 ve altı aylık bir inşa önermişti.

Ajantlar Gerçekten Doğru Seçim Olduğunda

Biz ajantlara karşı değiliz. Sapota'nın bir ajant inşa etmesini önerdiği görevler üç özelliği paylaşıyor:

• Gerçekten çok adımlı kararlar, où sonraki adım önceki adımın sonucuna bağlı.

• LLM'nin koordine etmesi gereken araçlar.

• Giderlerin ajantın ek yükünü haklı çıkardığı durumlar.

Ajantik altyapı, LLM maliyetlerini alone $0.02 ila $0.20 arasında artırıyor. Bu, bir satış mühendisi tarafından günde on kez kullanılan bir araştırma asistanı için uygun olabilir, ancak aylık 50.000 sorguya cevap veren bir sohbet botu için değildir.

Gördüğümüz Kalıp

Gördüğümüz en sık hata, kurucuların 'ajant'ı bir sofistike seviye olarak değil, spesifik kullanım durumlarına sahip bir araç olarak görmemeleridir. Satıcıların önerisi cezbedici geliyor: otonom, akıllı, kendini geliştiren, adapte olan. Gerçek ise çoğu B2B SaaS ürün için sorguların tekrarlanan, veri kaynaklarının sınırlı ve kullanıcı beklentilerinin öngörülebilir olduğu.

İyi yazılmış bir promt ile bir araç ve bir sadakat kapısı, maliyet, gecikme ve güvenilirlik açısından %80'in üzerindeki 'AI özelliği' kullanım durumlarında bir ajantın önüne geçiyor. Ajantların kazandığı %20'lik kısım gerçekten önemli, ancak %100'ü değil.

Satıcı, ajantik platformu satmak için bir teşvike sahip. Öneri 'ajantik AI gelecektir.' Öneri aynı zamanda 'bu platformu bize satın alın.' Her iki öneri de doğru olabilir, ancak bu spesifik ürünün henüz bu geleceğe katılmaya ihtiyacı olmayabilir.

Sapota Önerisi

Ajantik bir inşaaya başlamadan önce:

• Tek soru testini çalıştırın. Gerçekten otonomi gerekip gerekmediğini dürüstçe değerlendirin.

• Üretim hacmindeki maliyeti tahmin edin. Projekte edilen sorgu oranınıza çarpın. Mevcut maliyetle karşılaştırın.

• Mevcut promt ve araç kurulumunu denetleyin. 'AI özelliği boşlukları' çoğu zaman eksik promt talimatlarıdır, değil de eksik bir LLM.