Moonshot AI bu hafta Kimi K2.7-Code modelini piyasaya sürdü. Bu yeni nesil açık kaynak kodlu yapay zeka modeli, önceki K2.6 modelinin temel aldığı trilyon parametreli "karışık uzmanlar" (Mixture-of-Experts) mimarisini koruyor ancak daha verimli bir kod üretim süreci sunuyor.
Modelin en dikkat çekici iddiası, "aşırı düşünme" sorununu çözerek K2.6'ya kıyasla %30 daha az düşünce tokeni kullanması. Bu optimizasyon, ajan tabanlı iş akışları çalıştıran ekipler için doğrudan maliyet tasarrufu anlamına geliyor. Ancak modelin performans artışının bağımsız benchmark'larda da geçerli olup olmadığı konusunda endüstri uzmanlarından ilk tepkiler gelmeye başladı.
Kimi K2.7-Code Nedir ve Nasıl Çalışır?
K2.7-Code, Modified MIT lisansı altında yayınlandı ve model ağırlıkları Hugging Face platformunda kullanıma sunuldu. Model, vLLM veya SGLang üzerinden dağıtılabiliyor. Ancak önemli bir kısıtlama bulunuyor: modelin sıcaklık değeri sabitlenmiş durumda ve 1.0 olarak ayarlanmış. Bu da kullanıcıların çıktı determinizmini ayarlama esnekliğinden mahrum bırakıyor.
Temel mimari değişikliği, K2.6'nın varolan kütüphaneleri sararak kod üretmesinden farklı olarak, K2.7-Code'un doğrudan uygulamaları kendisinin yazması. Moonshot AI'ye göre bu yaklaşım, Rust, Go ve Python gibi farklı dil ve görevlerde daha güvenilir sonuçlar üretiyor. Frontend geliştirme, DevOps ve performans optimizasyonu gibi alanlarda da iyileşme görülüyor.
Modelin performans iddiaları üç tescilli benchmark üzerinden paylaşılıyor:
- Kimi Code Bench v2: %21.8 artış
- Program Bench: %11 artış
- MLS Bench Lite: %31.5 artış
Ancak bu benchmark'ların hiçbiri bağımsız veya endüstri standardı olarak kabul edilen DeepSWE gibi testlerden geçmiş değil. DeepSWE, modeller arasındaki performans farkını 70 puanlık bir yayılmayla ölçüyor ve bu da model yönlendirme sistemleri kuran ekipler için daha ayırt edici bir gösterge sunuyor.
Bağımsız Testler Ne Söylüyor?
Modelin bağımsız değerlendirmelerinde durum daha karmaşık görünüyor. Araştırmacı Elliot Arledge, KernelBench-Hard adlı açık benchmark üzerinde K2.7-Code, K2.6 ve Claude Fable 5 modellerini karşılaştırdı. Sonuçlarını kernelbench.com adresinde yayınladı.
Arledge'in değerlendirmesine göre: "K2.7-Code daha dürüst ama daha yetenekli değil." Beş problemden altısında K2.7-Code, K2.6'nın kütüphane sarma yaklaşımına kıyasla doğrudan yazılmış Triton çekirdeklerini üretti. Ancak bu çekirdeklerin ikisi modelin kendi hataları nedeniyle çalışmadı. K2.6'nın 0.222 olan MiO çekirdek skoru, K2.7-Code ile 0.157'ye geriledi.
Arledge'in karşılaştırmasında Fable 5, hatalardan kaçınmayı başardı ve tüm hücrelerde en yüksek skoru elde etti.
Diğer bir endüstri uzmanı olan Sugumaran Balasubramaniyan ise DeepSWE benchmark'ını referans alan Hermes Agent platformu için model görev yönlendiricisi geliştirmişti. K2.7-Code'un yayınlanmasının ardından Moonshot AI'ya doğrudan eleştiriler yöneltti.
"Saygılarımla, her model kendi test setinde çift haneli iyileşmeler gösteriyor" diyen Balasubramaniyan, K2.6'nın DeepSWE'de %24 puan aldığını ve GPT-5.4-mini ile aynı seviyede olduğunu hatırlattı. Ardından Moonshot AI'dan K2.7-Code'un da bu bağımsız benchmark'a katılmasını talep etti.
Balasubramaniyan, model yönlendiricisi için benchmark verilerini doğru şekilde hazırlamanın 13 inceleme turu aldığını ve ancak o zaman K2.7-Code'un görevleri yönlendirmeye uygun olup olmadığını değerlendirebileceğini belirtti.
İşletmeler için Anlamı Nedir?
K2.7-Code'un token verimliliği iddiası, düşük riskli bir geçiş süreci sunuyor. K2.6'yı halihazırda üretimde kullanan ekipler, OpenAI uyumlu API üzerinden modeli değiştirerek ajan tabanlı iş akışlarında daha düşük çıkarım maliyetleri elde edebilirler. Moonshot AI'nin %30'luk düşünce tokeni azaltma iddiası, modelin kendi testlerine dayansa da, bu geçişi kendi iş yüklerinde test etmek mümkün.
Gerçek soru ise bu verimlilik kazanımlarının, ekibin kendi görev dağılımına uygun olup olmadığı. Şirketler, modeli gateway ağırlıklarını değiştirmeden önce kendi benchmark'larıyla test etmeliler. Bu şekilde, K2.7-Code'un gerçek dünya performansı hakkında daha net bir fikir edinilebilir.
Gelecekteki gelişmelerde, Moonshot AI'nın bağımsız benchmark'lara katılımını artırması ve modelin gerçek yeteneklerini daha geniş bir skalada doğrulaması bekleniyor. Açık kaynak kodlu yapay zeka alanında sürekli olarak yeni modeller yayınlanıyor ve şirketler, bu seçimleri yaparken hem performansı hem de maliyet verimliliğini dikkatlice değerlendirmek zorunda kalacaklar.
Yapay zeka özeti
Moonshot AI'nin yeni Kimi K2.7-Code modeli %30 daha az token kullanıyor ancak bağımsız benchmark'lar performans artışını sorguluyor. Modelin gerçek yeteneklerini ve şirketin benchmark seçimlerini detaylı inceleyelim.
