Geçtiğimiz yıllarda büyük dil modellerinin (LLM) uzun metinleri işleme yeteneği hızla gelişirken, dikkat mekanizmalarının hesaplama karmaşıklığı hâlâ en büyük engellerden biri olarak kalıyor. DerinSeek’in 2024 yılında tanıttığı Seyrek Dikkat (Sparse Attention) mimarisi, bu soruna önemli bir çözüm sunmuştu: Model, tüm tokenlar arasında dikkat dağıtmak yerine, sadece en önemli olan tokenları seçerek hesaplama yükünü önemli ölçüde azaltıyordu. Ancak Tsinghua Üniversitesi ve Z.ai araştırmacıları tarafından geliştirilen IndexCache teknolojisi, bu yaklaşımı daha da ileri taşıyor.
2026 yılında yayınlanan IndexCache makalesi, DerinSeek’in GLM-5.2 modelinde kullanılan "IndexShare" mekanizmasının temelini oluşturuyor. Bu teknoloji, sadece dikkat hesaplamasındaki karmaşıklığı değil, aynı zamanda indeksleyicinin kendi hesaplama yükünü de ortadan kaldırıyor. Peki, nasıl oluyor da daha az işlem gücüyle daha verimli sonuçlar elde edilebiliyor?
DerinSeek’in Seyrek Dikkatinde Gizli Bir Darboğaz
DerinSeek’in Seyrek Dikkat (DSA) modeli, uzun bağlamlarda çalışırken standart dikkat mekanizmalarının O(L²) karmaşıklığı yerine, sadece en önemli tokenları seçerek O(Lk) seviyesine indirgiyor. Burada k, genellikle 2048 gibi sabit bir değerdir. Bu yaklaşım, modelin uzun metinleri işlerken bile verimli çalışmasını sağlıyor. Ancak araştırmacılar, ilk bakışta gözden kaçan kritik bir sorunu fark ettiler: indeksleyicinin kendisi de O(L²) karmaşıklığına sahip.
Her katmanda indeksleyici, mevcut tokenların her birini sorgulamak zorunda kalıyor ve en önemli olanları seçiyor. Bu da N katmanlı bir modelde toplam hesaplama karmaşıklığını O(NL²) seviyesine yükseltiyor. Kısacası, dikkat hesaplamasındaki darboğaz giderilirken, yerini indeksleyicinin hesaplama yükü alıyor. Bu durum, özellikle uzun metinlerde modelin performansını ciddi şekilde etkileyebiliyor.
IndexCache makalesinin başyazarlarından biri olan Bai, "DSA’nın asıl avantajı olan hesaplama verimliliği, indeksleyicinin kendi maliyetiyle neredeyse yok oluyor" diyor. "Bu sorunu çözmek için yaptığımız şey, indeksleyiciyi her katmanda çalıştırmak yerine, sadece gerekli olan katmanlarda kullanmak."
IndexCache’in Çalışma Prensibi: Katmanlar Arası Paylaşım
IndexCache’in temel fikri, birbirine yakın katmanların neredeyse aynı tokenları önemli bulduğu gözlemine dayanıyor. Araştırmacılar, komşu katmanlar arasındaki token seçimlerinin yaklaşık %70-100 oranında örtüştüğünü keşfettiler. Hatta bazı katman grupları (örneğin katman 3-5 veya 17-30 gibi), neredeyse aynı token kümesini önemli buluyor.
Bu bulgu, indeksleyicinin her katmanda ayrı ayrı çalıştırılması yerine, sadece belirli katmanlarda çalıştırılıp sonuçların diğer katmanlarla paylaşılması fikrini doğuruyor. IndexCache, modeldeki katmanları iki gruba ayırıyor:
- Tam Katmanlar (F - Full): Bu katmanlarda indeksleyici çalıştırılıyor ve en önemli tokenlar belirleniyor. Sonuçlar bir önbellekte saklanıyor.
- Paylaşılan Katmanlar (S - Shared): Bu katmanlarda indeksleyici çalıştırılmıyor. Bunun yerine, en yakın Tam Katmandan alınan önbellek sonuçları kullanılıyor.
İlk katman her zaman Tam Katman olarak işaretleniyor, çünkü önbelleğin ilk değerini oluşturması gerekiyor. Bu yaklaşım, modelin hesaplama karmaşıklığını önemli ölçüde azaltırken, herhangi bir mimari değişikliğe de gerek bırakmıyor. Sadece bir koşul ifadesi ekleniyor ve hesaplama döngüsü buna göre güncelleniyor.
IndexCache’in Avantajları: Daha Az Hesaplama, Aynı Performans
IndexCache’in en büyük avantajı, ekstra bellek kullanmadan hesaplama yükünü azaltması. Önbellek, sadece geçici bir bellek alanı olarak kullanılıyor ve Tam Katmanlarda sürekli olarak güncelleniyor. Bu da standart DSA modeliyle karşılaştırıldığında herhangi bir ek GPU belleği gerektirmediği anlamına geliyor.
Araştırmacılar, bu yaklaşımın modelin performansını nasıl etkilediğini test etmek için çeşitli deneyler gerçekleştirdi. Özellikle, indeksleyicilerin hangi katmanlarda Tam ya da Paylaşılan olarak işaretleneceğini belirlemek için iki farklı yöntem kullandılar:
1. Eğitim Gerektirmeyen Yöntem: Greedy Arama
Bu yöntemde, modelin ağırlıkları üzerinde herhangi bir değişiklik yapılmıyor. Bunun yerine, katmanların hangilerinin Paylaşılan olarak işaretleneceği, basit bir greedy algoritmasıyla belirleniyor:
- Başlangıçta tüm katmanlar Tam Katman olarak ayarlanıyor.
- Her adımda, bir Tam Katman Paylaşılan olarak işaretleniyor ve modelin dil modeli kaybı (LM loss) ölçülüyor.
- En az kayıp artışına neden olan katman Paylaşılan olarak işaretleniyor.
- Bu işlem, hedeflenen Paylaşılan katman sayısına ulaşılana kadar tekrarlanıyor.
Bu yöntem, modelin performansında minimum kayıpla indeksleyici sayısını önemli ölçüde azaltmayı sağlıyor. Araştırmacılar, 30 milyar parametreli bir modelde indeksleyicilerin %75’inin kaldırılmasının bile modelin performansını ciddi şekilde etkilemediğini gözlemlediler.
2. Veriye Dayalı Yöntem: Eğitimli Desenler
Eğitim gerektirmeyen yöntem kadar etkili olmasa da, modelin eğitimi sırasında indeksleyici desenleri de optimize edilebiliyor. Bu yöntemde, modelin kaybını minimize etmek için katmanlar arasındaki indeksleyici paylaşım desenleri optimize ediliyor. Araştırmacılar, bu yaklaşımın özellikle daha büyük modellerde daha iyi sonuçlar verdiğini belirtiyor.
IndexCache’in Geleceği: Daha Verimli Modeller için Bir Adım
IndexCache teknolojisi, büyük dil modellerinin hesaplama verimliliğini artırmak için yeni bir yol açıyor. Özellikle uzun metinleri işleyen modellerde, hesaplama karmaşıklığını önemli ölçüde azaltarak daha hızlı ve daha verimli çalışmalarını sağlıyor. Bu teknoloji, sadece DerinSeek’in GLM-5.2 modelinde değil, gelecekte geliştirilecek diğer modellerde de kullanılabilir.
Araştırmacılar, IndexCache’in hesaplama verimliliğini artırmanın yanı sıra, modelin performansını da koruduğunu belirtiyor. Bu da gelecekteki modellerin daha hızlı eğitilmesi ve daha verimli çalışması için önemli bir adım olabilir. IndexCache’in sunduğu bu yaklaşım, yapay zeka dünyasında hesaplama verimliliğine yeni bir bakış açısı getiriyor ve gelecekteki modellerin daha sürdürülebilir bir şekilde geliştirilmesine katkı sağlayabilir.
Yapay zeka özeti
DerinSeek’in seyrek dikkat modelindeki gizli darboğazı çözen IndexCache teknolojisi hakkında detaylı bilgi edinin. Hesaplama verimliliğini artıran bu yöntemle modellerinizi daha hızlı çalıştırın.
