Yapay zeka ajanları, karmaşık ve uzun süreli görevler sırasında kritik bilgileri kaybetme riskiyle karşı karşıya. Örneğin, bir kodlama asistanı hata ayıklama sürecindeki adımları unutabilir ya da bir veri analiz aracı aynı verileri tekrar tekrar işleyerek kaynakları boşa harcayabilir. Bu sorunu çözmek için araştırmacılar, "delta-mem" adı verilen yenilikçi bir yöntem geliştirdi. Bu yöntem, ajanların geçmiş etkileşimlerini yalnızca %0,12 ek parametreyle dinamik olarak saklamalarını sağlıyor.
Sürekli hafızasız kalan AI ajanlara çözüm
Günümüzde AI sistemleri, geçmiş bilgileri yönetmek için genellikle genişletilmiş bağlam pencereleri (context window) veya RAG (Retrieval-Augmented Generation) kullanıyor. Ancak bu yöntemler, hem maliyetli hem de verimsiz hale geliyor. Özellikle uzun süreli etkileşimlerde, ajanlar bilgi yükünden boğuluyor ve "bağlam bozulması" adı verilen bir sorun ortaya çıkıyor. Bu durumda model, teorik olarak milyonlarca token desteklese bile, aslında gerekli bilgiyi hatırlamakta zorlanıyor.
Jingdi Lei’nin VentureBeat’e yaptığı açıklamaya göre, mevcut sistemler hafızayı yalnızca bir "bağlam yönetimi problemi" olarak görüyor. "Ya bağlam penceresini genişletiyoruz, ya da RAG aracılığıyla daha fazla belgeyi geri çağırıyoruz. Bu yaklaşımlar faydalı olsa da, uzun süreli ve çok adımlı etkileşimlerde giderek pahalılaşıyor ve kırılgan hale geliyor" diyen Lei, insan hafızasına benzer bir sistemin gerekliliğine dikkat çekiyor.
Delta-mem: Hafızayı kompakt ve dinamik şekilde saklama
Delta-mem, araştırmacılar tarafından geliştirilen bir hafıza modülü olup, ajanların geçmiş etkileşimlerini "çevrimiçi ilişkilendirme hafızası durumu" (OSAM) adı verilen sabit boyutlu bir matriste saklıyor. Bu matris, modelin parametrelerini değiştirmeden, hafızayı dinamik olarak güncelliyor. Söz konusu yöntem, %0,12 gibi son derece düşük bir parametre artışıyla çalışıyor — bu oran, benzer yaklaşımlardaki %76,40’lık artışın çok altında kalıyor.
Modül, her yeni etkileşim sonrasında "delta-rule öğrenmesi" adı verilen bir mekanizma kullanarak hafızasını güncelliyor. Bu süreçte, sistem geçmiş tahminler ile gerçek sonuçlar arasındaki farka göre hafızayı düzeltiyor. Ayrıca, "gated delta-rule" adı verilen bir kontrol mekanizması sayesinde, kısa vadeli gürültülerin hafızayı bozması engelleniyor.
Üç farklı hafıza güncelleme stratejisi
Araştırmacılar, delta-mem’in hafıza güncellemelerinde üç farklı strateji denedi:
- Token-durum yazma: Her token düzeyinde hassas güncellemeler yapıyor, ancak kısa vadeli gürültülere karşı hassas.
- Dizi-durum yazma: Mesaj segmenti düzeyinde ortalama alarak güncellemeler yapıyor, yerel detayları kaybetse de gürültüyü azaltıyor.
- Çoklu-durum yazma: Farklı bilgi türlerini (örneğin, olgular ve görev ilerlemesi) farklı alt-durumlara ayırarak saklıyor.
Performans testi: Qwen ve SmolLM3 modellerinde değerlendirildi
Delta-mem’in etkinliği, Qwen3-8B, Qwen3-4B-Instruct ve SmolLM3-3B gibi üç farklı LLM tabanlı model üzerinde test edildi. Araştırmacılar, modülü 8x8 boyutunda kompakt bir matrisle yapılandırdı. Sistem, genel yetenek testlerinde (HotpotQA, GPQA-Diamond, IFEval) yanı sıra uzun süreli hafıza gerektiren görevlerde de (LoCoMo, Memory Agent Bench) değerlendirildi. Sonuçlar, delta-mem’in geleneksel yöntemlere göre daha düşük kaynak tüketimiyle daha iyi performans gösterdiğini ortaya koydu.
Özellikle LoCoMo testi, sistemin 100 adımlık bir konuşma boyunca tutarlı hafıza koruyabilme yetisini ölçüyor. Delta-mem’in sunduğu dinamik hafıza güncelleme mekanizması, bu ölçekteki görevlerde bile performans kaybını minimize ediyor.
Gelecek: AI ajanları daha akıllı ve verimli hale getirmek
Delta-mem’in sunduğu kompakt ve dinamik hafıza yönetimi, AI ajanların uzun süreli görevlerde daha tutarlı ve verimli çalışmasını sağlayabilir. Bu sayede, özellikle kurumsal kullanımda karşılaşılan hafıza kaybı ve performans düşüşü sorunları önemli ölçüde hafifleyecek. Araştırmacılar, gelecekte bu modülün farklı AI sistemlerinde kullanılabilirliğini genişletmeyi ve daha karmaşık hafıza senaryolarına uyarlamayı hedefliyor. Bu yenilik, AI’nın sadece veri işlemekle kalmayıp, geçmiş deneyimlerden de öğrenebilen bir sistem haline gelmesine katkıda bulunabilir.
Yapay zeka özeti
AI ajanların uzun süreli hafızası için delta-mem adlı yenilikçi yöntem. Sadece %0,12 parametre ekleyerek çalışan bu sistem, RAG ve genişletilmiş bağlam penceresinin yerini alabilir.
