Yapay Zeka Modellerine Bellek Eklemek: Doğru Sorgulamak Neden Kritik?

Yapay zeka sistemlerine bellek eklemek, onları daha zeki ve yetkin hale getirecek güçlü bir araç olarak görülüyordu. Ancak yapılan son deneyler, bu varsayımın temelden sorgulanması gerektiğini gösteriyor. Belleğin, modelin zekasını genel anlamda artırmadığı ortaya çıktı. Peki bu nasıl mümkün olabilir ve bellek sistemlerinin geleceği için hangi dersler çıkarılmalı?

Bellek, zekayı artırmıyor — en azından genel haliyle

Daha önce yapılan çalışmalarda, yapay zeka ajanlarına bellek eklemenin onları daha akıllı hale getirdiği varsayılıyordu. Bellek katmanı eklendiğinde, ajanların daha fazla bilgiyi hatırlaması ve sonuçta çıktılarının daha karmaşık, doğru ve insan benzeri olması bekleniyordu. Ancak yapılan son deneyler, bu varsayımın temelden yanlış olduğunu gösterdi.

OrKa Brain adlı sistem üzerinde yapılan 250 görevlik bir benchmark testi, bellek katmanının genel performansı önemli ölçüde iyileştirmediğini ortaya koydu. "Brain" adlı bellekli sistemin puanı 8.39 olurken, belleksiz versiyonun puanı 8.27 olarak ölçüldü. Aradaki 0.12'lik fark, istatistiksel olarak anlamlı olsa da, bir devrim niteliğinde değildi. Hatta benchmark sonuçları, belleğin avantajının büyük ölçüde değerlendirme yönteminden kaynaklandığını gösterdi.

Değerlendirme sürecinde, ilk cevabın tercih edilme oranı %74.4'e ulaştı. Bu da, bellekli sistemin avantajının aslında ölçüm aracının yanlılığı nedeniyle ortaya çıktığını ortaya koydu. Konum etkisi kontrol edildiğinde, belleğin avantajı büyük ölçüde ortadan kalktı. Bu durum, belleğin genel zekayı artırmadığına dair güçlü bir kanıt sunuyor.

Deney sonuçları neyi gösteriyor?

OrKa Brain deneyinin en önemli sonucu, belleğin sadece belirli durumlarda fayda sağladığını ortaya koymasıydı. Bellek, aynı alan içinde uzun süreli görevlerde avantaj sağlarken, diğer tüm kategorilerde anlamlı bir fark yaratmadı. Bu da belleğin, modelin zaten bildiği prosedürel bilgileri hatırlatmaktan öteye gidemediğini gösteriyor.

Bellek sistemleri genellikle, modelin daha önce görmediği yeni bilgileri hatırlatması gerektiği varsayımıyla tasarlanıyor. Ancak yapılan deneyler, belleğin çoğu zaman modelin zaten bildiği bilgileri tekrarlamaktan öteye geçmediğini gösterdi. Örneğin, bir modelin yazılım migrasyonlarının genel olarak nasıl başarısız olduğunu bilmesi mümkündür. Ancak belirli bir kod tabanında, son migrasyonun başarısız olmasının nedeninin, fatura işleme sistemindeki eski bir Redis anahtarına bağlı olması, modelin belleğinde yer almaz.

Bu durum, belleğin faydasını sorgulamamızı gerektiriyor. Bellek, modelin zaten bildiği şeyleri hatırlattığında, sistemin zekasını artırmaktan ziyade, sadece gecikme süresini artırıyor.

Belleğin gerçek gücü: Kontenjan bilgileri

Yapay zeka sistemlerinde belleğin gerçek değeri, modelin ağırlıklarında bulunmayan kontenjan bilgilerini sağlamasında yatıyor. Kontenjan bilgileri, belirli bir kullanıcı, sistem, şirket, yargı alanı, müşteri, kod tabanı, önceki kararlar veya yerel süreçlere bağlı olan bilgilerdir.

Örneğin:

• Model, yazılım migrasyonlarının genellikle nasıl başarısız olduğunu bilebilir, ancak belirli bir kod tabanında, son migrasyonun başarısız olmasının nedeninin fatura işleme sistemindeki eski bir Redis anahtarına bağlı olduğunu bilemez.
• Model, özlü yazının ne olduğunu bilebilir, ancak belirli bir kullanıcının direkt teknik cevaplar ve dolgu içermeyen ifadeler tercih ettiğini bilemez.
• Model, istihdam hukukunun genel şeklini bilebilir, ancak belirli bir yargı alanında, ikincil bir düzenlemenin birincil bir yasanın uygulanma şeklini değiştirdiğini bilemez.
• Model, müşteri destek triyajının nasıl çalıştığını bilebilir, ancak belirli bir müşterinin fatura hatalarını yanlış ürün adı kullanarak raporladığını bilemez.

Bu durumda bellek, modelin zaten bildiği genel bilgilerin ikinci bir kopyasını eklemek yerine, modelin erişemediği özel bilgileri sağlamak için kullanılır. Bu da belleğin gerçek değeri ve kullanım alanını ortaya koyar.

Gelecek için dersler: Bellek nasıl tasarlanmalı?

Yapılan araştırmalar, bellek sistemlerinin geleceği için önemli dersler sunuyor. Bellek, modelin zaten bildiği genel bilgileri hatırlatmak yerine, modelin erişemediği kontenjan bilgilerini sağlamaya odaklanmalıdır. Bunun için:

• Bellek sistemleri, modelin ağırlıklarında bulunmayan özel bilgileri hedeflemelidir.
• Bellek, modelin çıktısını doğrudan değiştirecek bilgileri içeriyorsa, sistemin performansını artırabilir.
• Bellek katmanları, modelin genel yeteneklerini tekrarlamak yerine, özel durumlara odaklanmalıdır.

Bu yaklaşım, bellek sistemlerinin sadece görsel açıdan etkileyici demo örneklerinden öteye geçmesini ve gerçek dünyadaki uygulamalarda anlamlı fayda sağlamasını mümkün kılabilir. Gelecekte, bellek sistemleri, modelin zaten bildiği bilgilerden ziyade, modelin erişemediği kontenjan bilgilerini sağlamaya odaklandığında, yapay zeka sistemlerinin gerçek potansiyeli ortaya çıkacaktır.