Cohere’in tek H100 ile çalışan açık kaynak kodlama aracını tanıtması

Yapay zeka destekli kodlama süreçlerinde yeni bir dönem başladı. Cohere, North Mini Code adlı açık kaynaklı modelini tanıttı. Bu model, tek bir NVIDIA H100 GPU üzerinde çalışabilen ve yazılım ekiplerine maliyet etkinliği sunan bir araç olarak dikkat çekiyor.

Model, 30 milyar parametreye sahip bir "mixture-of-experts" (MoE) yapısında olup, her token için yalnızca 3 milyar parametre aktif olarak kullanılıyor. Bu özellik, yüksek hacimli üretim ortamlarında performansı korurken hesaplama maliyetlerini önemli ölçüde düşürüyor. North Mini Code, 256.000 tokenlik bağlam penceresi ve 64.000 tokenlik maksimum çıktı uzunluğu ile donatılmış durumda.

North Mini Code’un sundukları

Cohere’in yeni modeli, tamamen ajan tabanlı yazılım mühendisliği süreçlerine odaklanacak şekilde tasarlandı. Bu da onu genel amaçlı modellerden ayırıyor. North Mini Code’un temel yetenekleri şu şekilde özetlenebilir:

• Yazılım mühendisliği. Model, çok adımlı ajan tabanlı görevler için optimize edilmiş durumda. Entegre araç kullanım yetenekleri ve aralıklı düşünme (interleaved thinking) özelliği, çok adımlı iş akışlarında performansı artırıyor.

• Mimari haritalama ve kod inceleme. North Mini Code, büyük kod tabanlarını tek bir bağlam geçişinde analiz edebiliyor. Sistem bağımlılıklarını haritalandırabilir ve çoklu dosya projelerinde kod incelemesi yapabiliyor.

• Terminal tabanlı ajan görevleri. Model, terminal ortamlarında da etkili şekilde çalışıyor. Kabuk etkileşimleri, paket komut dosyaları ve komut satırı araçlarını yönetebiliyor. Cohere, modeli Terminal-Bench v2 üzerinde test etti. Bu benchmark, ajanların gerçek terminal ortamlarında nasıl performans gösterdiğini ölçüyor.

Modelin gelişim süreci

North Mini Code, 128 uzman modelinden oluşan bir MoE yapısına sahip. Token başına yalnızca 8 uzman aktif hale geliyor. Bu da modelin 30 milyar parametreye sahip olmasına rağmen, çıkarım sırasında yaklaşık 3 milyar parametreli bir model gibi davranmasını sağlıyor.

Cohere’nin kurucu ortağı Nick Frosst, modelin bir Mac Studio üzerinde MLX frameworkü kullanılarak yaklaşık 20 GB RAM ile çalıştırılabildiğini gösteren bir demo yayınladı. Frosst, bunun kendi yerel kodlama çalışmaları için kullandığı aynı makine olduğunu belirtti.

Model, iki aşamalı olarak denetlenmiş ince ayar ve ardından doğrulanabilir görevler üzerinden pekiştirme öğrenmesiyle eğitildi. Toplamda 70.000’in üzerinde doğrulanabilir görev ve yaklaşık 5.000 depodan oluşan bir veri kümesi kullanıldı. Bu veri kümesi, SWE-Bench’e karşı eşsizleştirildi.

Cohere, modeli tek bir ajan iskeleyi optimize etmek yerine, üç farklı iskele üzerinde eğitti:

• SWE-Agent: Zengin CLI komutları ve özel komutlarla donatılmış.
• Mini-SWE-Agent: Tek bir bash aracı ve ham kabuk çıktısı kullanıyor.
• OpenCode: Yapılandırılmış JSON çıktıları döndüren bireysel araçlarla çalışıyor.

Cohere, çoklu iskele yaklaşımının OpenCode değerlendirmesinde %10 puan artışı sağladığını, aynı zamanda SWE-Agent performansını koruduğunu belirtti.

Piyasadaki konumu ve karşılaştırmalar

North Mini Code, piyasada halihazırda bulunan diğer modellerle karşılaştırıldığında kendine özgü avantajlar sunuyor. Bu modeller arasında Mistral Devstral Small 2, GitHub Copilot, Cursor ve Anthropic’in Claude Fable 5’i yer alıyor. Her modelin farklı maliyet ve dağıtım avantajları bulunuyor.

Cohere’in ana karşılaştırma noktası, 24 milyar parametreye sahip yoğun bir model olan Mistral Devstral Small 2. Cohere’in kendi iç testlerine göre, North Mini Code, aynı donanım yapılandırmasında Devstral Small 2’ye kıyasla çıktı hacminde 2,8 kat artış ve aradaki token gecikmesinde %30 iyileşme sağlıyor.

Cohere ayrıca, Hugging Face teknik blogunda North Mini Code’un, bildirilen benchmarklarda parametre sayısı dört kat daha fazla olan açık kaynaklı modellerden daha üstün performans gösterdiğini iddia ediyor. Bu modeller arasında 120 milyar parametreye sahip olanlar da yer alıyor.

Bağımsız performans değerlendirmeleri

Yapay zeka analiz platformu Artificial Analysis’a göre, North Mini Code, çıktı hızında 127 karşılaştırılabilir açık ağırlıklı model arasında 8. sırada yer alıyor. Model, saniyede 210 token çıkış hızı ve ilk token için 0,25 saniye gecikme süresi sunuyor. Bu değerler, sınıf medyanına kıyasla önemli ölçüde iyileşmiş durumda.

Ancak aynı veri kümesi, modelin zeka endeksinde 127 model arasında 18. sırada olduğunu gösteriyor. İlginç bir nokta da, modelin bu endeksi tamamlamak için 75 milyon çıktı tokeni ürettiği ve sınıf medyanının ise 25 milyon token olduğu yönünde. Bu durum, yüksek hacimli ajan tabanlı iş akışlarında çıktı hacminin maliyet ve gecikmeyi artırabileceğini ortaya koyuyor.

İşletmeler için anlamı

North Mini Code’un piyasaya sürülmesi, ajan tabanlı kodlama süreçlerinde yeni bir dönemin başlangıcı olarak görülüyor. Cohere’in kurucu ortağı Nick Frosst, modelin piyasaya sürülmesiyle ilgili olarak şu değerlendirmeyi yaptı:

"İnsanlar artık, modelin ürettiği tokenlerden yeterli ekonomik değeri elde edip edemediklerini sorguluyor. Yerel dağıtım, insanlara güç veren ve yapay zekayı onların işine yarar hale getiren bir yol olabilir."

GitHub Copilot, Cursor ve Claude Code gibi popüler araçlar, genellikle kullanım başına veya abonelik ücretleriyle çalışıyor ve yerel dağıtım seçeneği sunmuyor. Anthropic’in en güçlü halka açık kodlama modeli olan Claude Fable 5, çıktı token başına 50 dolar fiyatlandırılıyor. Frosst’a göre, North Mini Code bu modellerin tam tersi bir yaklaşım sunuyor:

"Küçük, uygun maliyetli, Apache 2.0 lisanslı ve yerel olarak dağıtılabilir. Bu, büyük, pahalı, kapalı kaynaklı ve hegemonyacı modellere karşı duran bir yaklaşım. Küçük, açık kaynaklı, şeffaf ve egemen modellerin geleceği bu şekilde olmalı."

Geleceğe dair bakış

North Mini Code’un piyasaya sürülmesi, işletmelerin ajan tabanlı kodlama çözümleri seçerken karşılaştıkları karmaşık karar süreçlerine yeni bir boyut kazandırıyor. Artık, modellerin yalnızca kodlama yeteneklerine değil, aynı zamanda ajan tabanlı görevlere özel olarak optimize edilmiş olup olmadığına da odaklanılması gerekiyor.

Cohere’in bu modeliyle birlikte, açık kaynaklı ve yerel olarak dağıtılabilir yapay zeka çözümlerinin önemi daha da artıyor. Bu yaklaşım, şirketlere veri gizliliği ve maliyet kontrolü konusunda önemli avantajlar sunarken, aynı zamanda geliştiricilerin yerel geliştirme ortamlarında daha verimli çalışabilmelerine olanak tanıyor.