Yapay zeka (AI) ajanlarının işletme ortamlarına yerleşmesiyle birlikte, güvenilirlik sorunları da hızla öne çıkıyor. İlk aşamada hızlı dağıtımlara odaklanan şirketler, artık AI ajanlarını yeniden tasarlamanın zorunluluğunu fark ediyor. Zira uzun süreli AI iş akışları, çökmelere karşı dayanıklı olmalı, durumlarını korumalı ve başarısızlıklardan hızla kurtulabilmelidir. Temporal Technologies’te Kıdemli Başkan Yardımcısı olarak görev yapan Preeti Somal, New York’taki AI Impact Serisi etkinliğinde bu sorunlara dikkat çekti.
Somal, birçok şirketin ikinci nesil AI ajanlarını geliştirmeye başladığını ve bu sürecin ilk versiyonların eksikliklerini gidermeyi amaçladığını belirtti. "Şirketler genellikle çok hızlı hareket ettiler, ancak altyapıya yeterince özen göstermediler. Sistemler çöktüğünde, yeniden inşa etmek zorunda kaldılar" diyen Somal, üretim ortamındaki AI sistemlerinin dayanıklı yürütme, durum yönetimi ve görünürlük gerektirdiğini vurguladı.
AI ajanları, bilinen mühendislik sorunlarını büyütüyor
Somal’a göre, AI ajanlarının karmaşıklığı, uzun süreli ve çok adımlı iş akışlarından kaynaklanıyor. Bu akışlar, çeşitli hizmetler, modeller, API’ler ve araçları içerebilir. Örneğin, bir sağlık kuruluşunda doktor görüşmelerinin özetlenmesi için yapılan bir iş akışı; ses işleme, özetleme, model çağrıları ve nihai rapor oluşturma gibi birçok adımdan oluşur. Bu tür senaryolarda, bir hata durumunda tüm sürecin yeniden başlatılması hem maliyetli hem de verimsizdir.
Somal, bu durumu bulut bilişim geçişinin başındaki "lift-and-shift" yaklaşıma benzetti: "Her şeyi hızlıca AI’ye taşımak, altta yatan mimarinin modernizasyonunu ihmal etmek gibi. Sonunda şirketler, bulut için daha fazla para harcadıklarını ama değer elde edemediklerini fark ettiler."
Uzun süreli ajanlar için yeni bir mimari zorunlu
AI ajanlarının işletmelerde uzun süreli görevler üstlenmesiyle birlikte, durum yönetimi ve bellek yönetimi kritik hale geliyor. Durum, ajanın hangi adımdan devam edeceğini belirlerken; bellek, ajanın geçmiş etkileşimlerini taşımasını sağlar. Somal, bu ayrımın özellikle karmaşık süreçlerde önem kazandığını şöyle açıkladı:
- Durum yönetimi: Ajanın nerede kaldığını ve hangi adımların tamamlandığını takip eder.
- Bellek yönetimi: Ajanın gelecekteki etkileşimlerde kullanabileceği bilgileri saklar.
Sağlık sektöründen bir örnek veren Somal, Abridge adlı bir müşterinin doktor görüşmelerini işleyen sisteminin, ses kaydından özetlemeye kadar birçok adımı koordine ettiğini aktardı. Bu tür akışlarda, herhangi bir başarısızlık durumunda bile sürecin devam edebilmesi kritik önem taşıyor.
Belirleyici omurga: AI sistemlerinin güvenilirliği için bir çerçeve
Somal, AI sistemlerinde "belirleyici omurga" olarak adlandırılan bir mimari yaklaşımın önemini vurguladı. Bu yaklaşımda, dil modeli değişkense de, iş akışının yürütülmesi güvenilir ve tahmin edilebilir olmalıdır. Örneğin bir satın alma süreci, hasta özeti veya müşteri destek hattı gibi iş akışları, modelin zaman aşımına uğraması durumunda bile devam edebilmelidir.
Bu çerçeveye göre:
- Dil modeli: Değişken çıktılar üretir, ancak sistemin "beyni" olarak görev alır.
- Orkestrasyon yazılımı: Modelin çıktılarını güvenilir bir şekilde yönetir ve başarısızlıklardan kurtarır.
- Hata kurtarma: İş akışının nereye kaldığını belirleyerek, gereksiz tekrarları önler.
Maliyet şeffaflığı ve ROI hesaplamaları
İşletmeler AI projelerinin getirisini (ROI) değerlendirirken, token tüketiminin şeffaf bir şekilde izlenmesi gerekiyor. Uzun süreli ajanlar, karmaşık iş akışlarında birçok model çağrısı yapabilir, bu da maliyetlerin kontrol edilmesini zorlaştırır. Somal’a göre, orkestrasyon sistemleri sayesinde şirketler, token harcamalarını adım adım takip edebilir ve gereksiz maliyetleri önleyebilir.
"Tek bir pencereden tüm akışı görebilirsiniz. Token tüketiminin nerede yoğunlaştığını anında fark edersiniz" diyen Somal, bu görünürlüğün hem maliyetleri kontrol etmeyi hem de sistem güvenilirliğini artırmayı sağladığını belirtti.
AI sistemlerinin üretim ortamlarında başarılı olabilmesi için, sadece hızlıca dağıtılmaları değil, aynı zamanda güvenilir, şeffaf ve maliyet-etkin bir altyapıyla desteklenmeleri gerekiyor. Gelecekteki AI projeleri, orkestrasyon ve durum yönetimi odaklı mimarilerle inşa edildiğinde, şirketler hem verimliliklerini artıracak hem de maliyetleri kontrol altında tutabileceklerdir.
Yapay zeka özeti
AI ajanlarının üretim ortamındaki güvenilirlik sorunları, şirketleri mimariyi yeniden düşünmeye zorluyor. Uzun süreli iş akışlarının yönetimi ve maliyet şeffaflığı, yeni nesil AI sistemlerinin temelini oluşturuyor.
