Yapay Zeka Ajanları İçin Hafıza Yönetimi: Ne Kadarını Saklamalı?

Yapay zeka ajanlarına ilişkin en sık karşılaşılan sorunlardan biri, bu sistemlerin üretim ortamında çalışırken nasıl hafıza yönetimi yapacağıdır. Geçtiğimiz haftalarda yaptığım görüşmelerde, geliştiricilerin çoğunun bu konuyla ilgili benzer deneyimler yaşadığı ortaya çıktı. Ne var ki, ortaya çıkan çözümler o kadar çeşitlidir ki, henüz standart bir yaklaşımın bulunmadığını gösteriyor.

Vektör Benzerliği Yöntemi: Görünüşe Kanma Tehlikesi

Ajan hafızası genellikle vektör benzerliği temeline dayanır. Ajan, daha önce karşılaştığı tüm verileri gömü (embed) işlemine tabi tutar ve yeni bir göreve başlarken en yakın vektörleri geri çağırarak bağlamına ekler. Bu yöntem ilk bakışta mantıklı görünse de ciddi bir dezavantaja sahiptir: "en yakın" olan, aslında "en ilgili" olanı ifade eder. Oysa ilgili olmak, işe yaramak anlamına gelmez.

Örneğin, ajan geçmişteki bir göreve benzer bir göreve başladığında, o görevin sonuçlarını değil, sadece konusunu hatırlar. Bu durumda ajan, daha önce üç kez başarısız olduğu bir yolu yeniden denemeye karar verebilir — çünkü sistem, geçmişteki başarısızlığın kaydını tutmamıştır. Ajan, hatasını asla öğrenmez; sadece "ilgili" bilgiyi ele alır.

Üretimde Kullanılan Pratik Çözümler

Görüşmelerim sırasında, geliştiricilerin çoğunun bu sorunu fark edip çeşitli yöntemlerle çözmeye çalıştığını gördüm. Bu çözümler birbirinden oldukça farklıydı ve hepsinin ortak noktası, standart bir hafıza yönetimi yaklaşımının henüz bulunmadığı gerçeğiydi.

• Basit Dosya Tabanlı Hafıza: Bazı geliştiriciler, ajan için basit bir dosya sistemi kullanıyor. Ajan, görevine başlarken bir dosyadan çalışma belleğini okuyor ve görev sonunda ne kaydedeceğine kendisi karar veriyor. Eski kayıtlar ise daha sonra vektör deposuna aktarılıyor. Bu yöntem, yalnız çalışan geliştiriciler için oldukça sağlam görünüyor.

• Başarısızlık Günlüğü: Diğerleri, başarısızlıkları ayrı bir günlüğe kaydediyor. Ajan, bir görevi yerine getirmeden önce bu günlüğü kontrol ediyor ve benzerlik aramasından önce başarısızlık kayıtlarını inceliyor. Bir geliştirici, "Gömüler konuları hatırlamada harika, ancak neden başarısız olduğunu kaydetmiyor" diyor.

• Otomatik Sonrası Raporlama: Bazı ekipler, ajanların her görevin ardından kendi kendilerine bir otopsi raporu yazmasını sağlıyor. Örneğin, "Bu yöntem X nedeniyle başarısız oldu; gelecekte Y yöntemini dene" gibi. Ancak, bu raporların sayısı arttıkça dosyalar gürültülü hale geliyor ve özetleme adımları eklenmesi gerekiyor.

• Katmanlı Hafıza Sistemi: Diğer bir yaklaşımda, hafıza kararlı gerçekler ve geçici bilgiler olmak üzere iki katmana ayrılıyor. Ajan, sadece kararlı gerçeklere güvenerek hareket ediyor; diğer bilgiler ise yalnızca kaynak gösterildiğinde kullanılabiliyor.

Bu yöntemlerin tümü, hangi bilgilerin kaydedileceğine odaklanıyor. Ancak en kritik soru — hangi bilgilerin saklanması gerektiği — hala cevaplanmayı bekliyor.

Hafızanın Asıl Zorluğu: Ne Kadarını Saklamalı?

Tüm bu yaklaşımların ortak noktası, "ne kaydedileceği" sorusuna odaklanmalarıdır. Oysa asıl zorluk, "ne saklanması gerektiği" sorusudur. Bir görevin başarısız olduğunu fark etmek nispeten kolaydır — araç hataları, zaman aşımı, değişikliklerin geri alınması gibi durumlar kolayca tespit edilir. Hatta görev tamamlandığında onay alınmaması bile bir tür başarısızlık olarak kaydedilebilir.

Ancak bundan sonrası karmaşıktır. Hangilerinin kalıcı bir ders olacağına, hangilerinin tesadüf olduğuna karar vermek zordur. Sistemdeki değişiklikler nedeniyle bir dersin geçerliliğini yitirmesi de mümkündür. Unutulmaması gereken bir diğer nokta da, bir olayın gerçeğini kaydetmek ile o olaydan çıkarılan dersi ayırmaktır. Bir kişi bunu şöyle özetledi: "Bir hafıza kanıt içermeli, ahlak değil. Olan biten ve kanıtlar kayıt altına alınmalı; çıkarılan ders ise daha sonraki olaylar tarafından çürütülebilmeli."

Yeni Araçların Eksikliği: Gerçek Sorun Nerede?

Son dönemde ortaya çıkan hafıza araçları, genellikle verilerin güncelliğini koruma problemi üzerine odaklanıyor. Örneğin, bir bilginin kimin tarafından yönetildiğini veya ne kadar süreyle geçerli olduğunu izleyen sistemler mevcut. Ancak bu araçlar, asıl sorunu çözmüyor: bir hafızanın işe yarayıp yaramadığı değil, sadece doğruluğu.

Bir bilgi hem güncel hem de defalarca duvara toslamaya neden olmuş olabilir. Güncellik ve işe yararlık, birbirinden tamamen farklı iki kavramdır. Mevcut araçların çoğu, bu iki sorundan sadece birine odaklanıyor.

Günümüzde Hafıza Yönetimi İçin İpuçları

Bu alanda çalışan geliştiricilerden edindiğim pratik öneriler şunlar:

• Benzerlik Aramasından Kaçının: Vektör benzerliği, size sadece ilgili olanı verir; işe yarayanı değil. Başarısızlıkları da hafızaya ekleyin, çünkü işe yaramayan bilgiler, ilgili olanlardan daha değerlidir.

• Olayı ve Dersi Ayırın: Hafızaya sadece ne olduğunu kaydetmeyin; aynı zamanda o olaydan çıkarılan dersi de kaydedin. Böylece, yeni bilgiler ışığında dersleri güncelleyebilirsiniz.

• Kalıcı Kuralların Kontrolünü Sağlayın: Bir dersin kalıcı bir kural haline gelmeden önce en az iki kez doğrulanmasını sağlayın. Aksi takdirde, yanlış dersler hızla katılaşabilir.

• Değişikliklere Hazırlıklı Olun: İki hafta önce geçerli olan bir ders, sistemde yapılan değişiklikler nedeniyle artık zararlı olabilir. Sürekli olarak eski dersleri gözden geçirin.

Hiçbir çözüm mükemmel değil. Üretimde başarılı olanlar, basit kurallara — yakın zamanda gerçekleşen olaylara odaklanma, bir dersi iki kez doğrulama, insan müdahalesi, düzenli temizlik — dayanıyor. Ancak bu kuralların her biri, öngörülebilir şekilde başarısız olabilir.

Daha iyi bir gömü (embedding) modeli bu sorunu çözmeyecek. Sorun, "en benzer olanı bulmak" değil, "neyin işe yaradığını kaydetmek" ve bunu sürekli olarak güncellemekle ilgili. Bu, yapay zeka ajanı hafızası için henüz çözülmemiş bir denklemdir.