Özel Akıl Yürütme Modelleri: Hesaplama Maliyetini %80 Düşüren Yeni Yöntem

Günümüzde şirketlerin özel akıl yürütme modelleri oluşturması, genellikle pahalı ve karmaşık süreçler gerektiriyor. Büyük dil modellerinden bilgi aktarma ya da pekiştirmeli öğrenme gibi geleneksel yöntemler, ya yetersiz geri bildirim sağlıyor ya da yüksek maliyetler çıkarıyor. Ancak JD.com araştırmacıları ve akademik ortakları, bu soruna yeni bir çözüm sundu: RLSD (Pekiştirmeli Öğrenme ile Doğrulanabilir Ödüller ve Kendi Kendine Distilasyon).

Bu yenilikçi yaklaşım, şirketlerin hesaplama bütçelerini önemli ölçüde azaltırken, özel akıl yürütme modellerinin doğruluğunu artırıyor. Peki, bu yöntem nasıl çalışıyor ve neden diğerlerinden daha başarılı?

Pekiştirmeli Öğrenme ve Dağıtımın Temel Sorunları

Geleneksel Pekiştirmeli Öğrenme ile Doğrulanabilir Ödüller (RLVR) yöntemi, modellerin deneme-yanılma yoluyla öğrenmesini sağlıyor. Model, çevresinden aldığı doğrulama sonucuna göre ödül veya ceza alıyor. Örneğin, bir soruya doğru cevap verildiğinde 1, yanlış cevapta 0 gibi ikili bir geri bildirim sistemi kullanılıyor.

Ancak bu sistemin en büyük handikapı, geri bildirim yoğunluğunun düşük olması. Chenxu Yang, JD.com araştırma ekibinin bir üyesi olarak, bu sorunu şöyle açıklıyor: “Standart GRPO’da binlerce token içeren bir akıl yürütme süreci sonunda sadece tek bir ikili ödül alıyor. Bu ödül, o süreçteki her bir token’a eşit şekilde dağıtılıyor — oysa bazı token’lar kritik mantık adımları olurken, diğerleri gereksiz ifadeler olabiliyor.”

Bu durum, modelin hangi adımların başarısızlığa ya da başarıya yol açtığını öğrenmesini engelliyor. Sonuç olarak, modelin performansı sınırlı kalıyor ve iyileşme süreci yavaşlıyor.

Öğretmen-Öğrenci Modelinin Maliyetli Alternatifi

Bir diğer yaklaşım olan Çevrimiçi Dağıtım (OPD), modelin daha küçük bir öğrenci versiyonunu, daha büyük ve yetenekli bir öğretmen modeliyle eşleştirmeyi öneriyor. Öğrenci, her bir eğitim örneğinde cevabını öğretmenin cevabıyla karşılaştırarak, token düzeyinde geri bildirim alıyor. Bu sayede, modelin tüm akıl yürütme zinciri boyunca ince ayar yapması mümkün oluyor.

Ancak bu yöntem de ciddi bir maliyet getiriyor. Yang’ın belirttiği gibi, “Büyük bir öğretmen modelini sürekli olarak çalıştırmak, GPU kaynaklarını yaklaşık iki katına çıkarıyor.” Ayrıca, öğretmen ve öğrenci modellerin aynı kelime dağarcığına sahip olması gerekiyor ki bu da çoğu şirketin kullandığı çok dilli ya da farklı mimariye sahip modeller için bir engel oluşturuyor.

Kendi Kendine Dağıtımın Gizli Tehlikeleri

Çevrimiçi Kendi Kendine Dağıtım (OPSD), yukarıdaki sorunlara çözüm olarak görülüyordu. Bu yöntemde, aynı model hem öğrenci hem de öğretmen olarak görev alıyor. Öğrenci standart bir soruyla eğitilirken, öğretmen versiyonu gizli bir cevap anahtarıyla donatılıyor. Öğretmen, öğrencinin performansını token düzeyinde değerlendiriyor ve ona yol gösteriyor.

OPSD, hem hesaplama verimliliği hem de detaylı geri bildirim avantajlarını bir araya getiriyor gibi görünüyordu. Ancak araştırmacılar, bu yöntemin ciddi bir kusuru olduğunu keşfettiler: ayrıcalıklı bilgi sızıntısı.

Yang, “Bu yöntemin matematiksel temeli oldukça kusurlu” diyor. “Öğrenci, öğretmenin gizli cevap anahtarına dayanarak cevap üretmeye zorlanıyor. Bu da modelin gerçek dünya senaryolarında karşılaşmayacağı ifadeleri uydurmasına yol açıyor.” Sonuç olarak, OPSD modellerinde başlangıçta görülen hızlı performans artışı, zamanla durgunlaşıyor ve hatta gerilemeye başlıyor.

RLSD: Yön ve Büyüklüğü Ayırma Stratejisi

JD.com ekibi, bu sorunları aşmak için Yön ve Büyüklüğü Ayırma (Decoupling Direction from Magnitude) adlı bir strateji geliştirdi. Temel fikir, modelin güncellenme sürecinde iki farklı sinyalin kullanılması: biri yön için, diğeri büyüklük için.

• Yön sinyali: Modelin davranışını doğru ya da yanlış olarak belirleyen sinyal. Bu sinyalin güvenilir olması kritik önem taşıyor, çünkü yanlış bir yönlendirme modelin tüm akıl yürütme politikasını bozabiliyor. Bu sinyal, RLVR’den alınan ikili ödüllerle sağlanıyor.
• Büyüklük sinyali: Modelin her bir adımının ne kadar katkı sağladığını belirleyen sinyal. Bu sinyalin yoğun ve detaylı olması gerekiyor, çünkü modelin her bir token’ın önemini anlamasını sağlıyor. Bu sinyal ise, öğretmen modelinin token düzeyindeki değerlendirmeleriyle oluşturuluyor.

RLSD, bu iki sinyali birbirinden ayırarak, modelin hem hesaplama verimliliğini korumasını hem de detaylı geri bildirim almasını sağlıyor. Öğretmen modeli, artık modelin ne üretmesi gerektiğini dikte etmek yerine, sadece her bir adımın ne kadar övgü ya da kınama gerektirdiğini hesaplıyor. Bu sayede, modelin gizli cevap anahtarlarına bağımlılığı ortadan kalkıyor ve gerçek dünya senaryolarında daha sağlam performans gösteriyor.

İşletmeler için Yeni Dönem

JD.com ve akademik ortaklarının yayınladığı araştırma makalesine göre, RLSD yöntemiyle eğitilen modeller, hem hesaplama maliyetini hem de eğitim süresini önemli ölçüde azaltıyor. Testlerde, bu modellerin standart dağıtım ve pekiştirmeli öğrenme yöntemlerine kıyasla daha yüksek doğruluk oranlarına ulaştığı gözlemlenmiş.

Bu yenilik, özellikle kaynakları kısıtlı olan şirketler için büyük bir fırsat sunuyor. Artık, özel akıl yürütme modellerini bütçelerini aşmadan ve karmaşık altyapılar kurmadan geliştirebilecekler. Gelecekte, bu yöntemin daha da geliştirilmesiyle, akıllı asistanlardan otonom sistemlere kadar birçok alanda devrim yaratması bekleniyor.