Yeni AI Hafıza Çerçevesi ile Token Tüketimi 97% Azaltıldı

Yapay zeka ajanlarının uzun vadeli görevlerde karşılaştığı en büyük sorunlardan biri, bağlam pencerelerinin hızla dolması ve geleneksel hafıza erişim sistemlerinin gereksiz gürültüyle karşılaşmasıdır. Singapur Ulusal Üniversitesi araştırmacıları tarafından geliştirilen MRAgent, bu sorunun üstesinden gelmek için statik "geri-çağırma-sonra-akıl yürütme" yaklaşımını terk ediyor. Bunun yerine, ajanların toplanan kanıtlara dayalı dinamik hafıza oluşturmasına olanak tanıyan bir mekanizma sunuyor.

Bu yenilikçi yöntem, büyük dil modellerinin (LLM) akıl yürütme sürecine doğrudan entegre ediliyor. MRAgent, diğer ajan hafıza yönetimi çerçevelerine kıyasla token tüketimini %97 oranında azaltırken, yanıt sürelerini de önemli ölçüde iyileştiriyor. Araştırmacılar, bu yaklaşımın uzun vadeli etkileşimlerdeki performansı köklü bir şekilde değiştireceğini savunuyor.

Pasif Hafıza Erişiminin Sınırları Nedir?

Geleneksel hafıza sistemlerinde, belgeler vektör araması veya grafik gezintisi yoluyla geri çağrılır ve ardından LLM tarafından akıl yürütme için kullanılır. Bu pasif yaklaşımın üç temel zayıflığı bulunuyor:

• Geri çağırmayı akıl yürütme sırasında değiştirememe: Bir ajan, bir belgeyi geri çağırır ve kritik bir bilgi eksikliği fark ederse (örneğin, bir tarih veya kişi adı), bu yeni bilgiye dayalı olarak yeni bir sorgu oluşturamaz. Bu, sistemin esnekliğini ciddi şekilde kısıtlar.

• Sabit benzerlik puanları ve önceden tanımlanmış grafik genişlemeleri, LLM'nin bağlam penceresini gereksiz ayrıntılarla doldurarak akıl yürütme kalitesini düşürür. Bu durum, özellikle uzun vadeli görevlerde performans kaybına yol açar.

• Önceden yapılandırılmış yapılara bağımlılık, sistemin tahmin edilemeyen kullanıcı etkileşimlerine uyum sağlamasını engeller. Örneğin, statik "top-k sonuçları" yerine dinamik bir hafıza yönetimi gereklidir.

Araştırmacılar, bu sorunları aşmanın yolunun "aktif ve ilişkisel hafıza yeniden yapılanması" yaklaşımından geçtiğini belirtiyor. Bu paradigma, hafızanın statik bir veritabanından okunması yerine, bilişsel sinirbilimden esinlenen sıralı bir keşif süreci olarak işlev görüyor.

MRAgent’in Aktif Hafıza Yeniden Yapılanması Nasıl Çalışır?

MRAgent (Memory Reasoning Architecture for LLM Agents), hafızayı etkileşimli bir ortam olarak ele alır. Karmaşık bir sorgu işlendiğinde, ajan yapısal hafıza grafiği üzerinde çoklu yol keşfi gerçekleştirir. Bu süreçte, LLM’nin akıl yürütme yetenekleri kullanılarak, adım adım en iyi bilgi parçalarına ulaşılır.

Her adımda, ajan topladığı ara kanıtları değerlendirir ve bu bilgileri kullanarak arama stratejisini optimize eder. Örneğin:

• Yeni arama kısıtları çıkarabilir.
• En umut verici yolları takip eder.
• İlgisiz dalları budayarak gereksiz token tüketimini engeller.

Bu dinamik yaklaşım sayesinde, MRAgent derinlerde gizli bilgilere ulaşırken, LLM’nin bağlam penceresini gereksiz gürültüyle doldurmaz. Bu, özellikle uzun vadeli görevlerde performansı önemli ölçüde artırır.

Veri Organizasyonu: "İpucu-Etik-İçerik" Modeli

MRAgent’in verimliliği, üç katmanlı bir hafıza grafiği olarak adlandırılan "İpucu-Etik-İçerik" modeline dayanıyor. Bu yapı, verileri üç düzeyde organize eder:

• İpuçları (Cues): Kullanıcı etkileşimlerinden çıkarılan ince detaylar, örneğin kişi adları, yerler veya olaylar.
• İçerik (Content): Saklanan hafıza birimleri. Bunlar, olaysal hafıza (somut olaylar) ve anlamsal hafıza (kalıcı bilgiler ve kullanıcı tercihleri) olarak ikiye ayrılır.
• Etiketler (Tags): İpuçları ve içerik arasındaki ilişkileri özetleyen semantik köprüler.

Bu yapı, iki aşamalı bir geri çağırma süreci sağlar:

1. İlk aşama (İpucu → Etiket): LLM, ipuçlarından başlayarak ilgili etiketlere ulaşır. Etiketler, verilerin semantik ilişkilerini özetlediğinden, ajan bu kısa özetleri değerlendirerek en ilgili dalları seçer.

1. İkinci aşama (Etiket → İçerik): Seçilen dallardaki detaylı içerikler geri çağrılır. Bu sayede, gereksiz token tüketimi önlenirken, sadece en alakalı bilgiler işlenir.

Örnek Bir Senaryo: "Nate’in Üçüncü Video Oyunu Turnuvasını Nasıl Kazandığı"

Bir kullanıcı, AI ajanına şu soruyu sorduğunu varsayalım: "Nate, üçüncü video oyunu turnuvasını kazandığında ödül parasını nasıl kullandı?"

MRAgent’in bu soruya yanıt verebilmek için izlediği adımlar şunlardır:

1. İlk ipuçlarını çıkar: "Nate", "video oyunu turnuvası" ve "kazanmak" gibi anahtar kelimeler belirlenir.

1. İlk etiketlere ulaş: Bu ipuçları, hafıza grafiğinde ilişkili etiketlere (örneğin "Turnuva Zaferi" veya "Turnuva Katılımı") eşlenir.

1. İlgisiz dalları budama: Kullanıcı ödül parasının kullanımını sorduğundan, sadece "Turnuva Zaferi" etiketi takip edilir. "Turnuva Katılımı" gibi alakasız dallar elenir.

1. İlgili olaysal içerikleri geri çağırma: "Turnuva Zaferi" etiketine bağlı üç farklı olaysal hafıza geri çağrılır. Bunlardan sadece biri soruyla alakalıdır.

1. Yeni ipuçları çıkar ve süreci yinele: Alakalı olan olaysal hafızadan "turnuva ödülü" gibi yeni bir ipucu çıkarılır ve süreç tekrarlanır. Bu şekilde, ajan yeterli bilgiye ulaşana kadar aramaya devam eder.

Sonuç olarak, MRAgent "Nate’in ödül parasını biriktirdiği" yanıtını verir.

Endüstriyel Benchmarklarda MRAgent’in Performansı

MRAgent, ajan hafıza yönetimi konusunda çalışan diğer çerçevelerle karşılaştırıldığında önemli avantajlar sunuyor. Alternatif yaklaşımlar arasında şunlar bulunuyor:

• A-MEM: Grafik tabanlı bir hafıza sistemi.
• MemoryOS: Hiyerarşik hafıza yapısını destekleyen bir framework.
• LangMem: Uzun bağlamlı hafıza yönetimine odaklanan bir sistem.
• Mem0: Ölçeklenebilir hafıza çözümleri sunan bir platform.

Ancak MRAgent, token tüketimini %97 azaltırken, yanıt sürelerini de diğer sistemlere kıyasla önemli ölçüde iyileştiriyor. Araştırmacılar, bu performans avantajının uzun vadeli etkileşimlerdeki uygulamalar için devrim niteliğinde olacağını vurguluyor.

Bu yenilikçi yaklaşım, özellikle kişisel asistanlar, müşteri hizmetleri otomatikleştirme ve karmaşık veri analizi gibi alanlarda büyük potansiyele sahip. Gelecekte, MRAgent gibi sistemlerin AI ajanlarının hafıza yönetimini köklü bir şekilde değiştirmesi bekleniyor.