Açık kaynaklı AI kodlama aracınızı farklı LLM’lere nasıl dağıtabilirsiniz?

Tek bir abonelik modeliyle sınırlı kalmak, AI kodlama araçlarının en büyük kısıtlamalarından biri haline geldi. Hizmet sağlayıcılar genellikle kullanıcıları tek bir modelin zincirine bağlıyor ve bu modelin performansı ne olursa olsun değiştirme seçeneği sunmuyor. Ancak büyük dil modellerinin (LLM) en değerli özelliklerinden biri olan modellerin kolayca değiştirilebilir olması, bu yaklaşımla tamamen göz ardı ediliyor.

İşte bu sorunu çözmek için geliştirilen Anvil, açık kaynaklı bir AI kodlama aracı olarak öne çıkıyor. Projelerinizi tek bir komutla otomatik olarak tamamlayabilen bu araç, kullanıcıları sadece bir modele bağlı kalmaktan kurtarıyor. Anvil’in en önemli farkı ise her aşamada farklı bir LLM kullanma yeteneği. Bu sayede, her göreve en uygun model seçilerek hem maliyet hem de kalite optimize ediliyor.

Gerçek bir örnek: Dört farklı model, sadece 14 sentlik maliyet

Geçtiğimiz günlerde yapılan bir test çalışması, Anvil’in nasıl çalıştığını net bir şekilde ortaya koyuyor. Bir özellik talebiyle başlayan süreç, aşağıdaki gibi ilerledi:

• Açıklama aşaması: Ollama qwen3:14b (yerel) ~ $0.00
• Planlama aşaması: Claude Sonnet 4.6 (derin analiz) ~ $0.05
• Yapılandırma aşaması: Ollama qwen3:14b (yerel) ~ $0.00
• Test aşaması: Ollama qwen3:14b (yerel) ~ $0.00
• Doğrulama aşaması: Claude Haiku 4.5 (hızlı ve ucuz) ~ $0.01
• Gözden geçirme aşaması: Claude Sonnet 4.6 (kalite kontrol) ~ $0.08
• Gönderme aşaması: Ollama qwen3:14b (yerel git operasyonları) ~ $0.00

Toplam maliyet sadece 14 sent olurken, premium modeller yalnızca en kritik aşamalarda kullanıldı. Yerel modellerin kullanıldığı aşamalarda ise maliyet neredeyse sıfırlandı.

Model yönlendirme sistemi: Basit bir konfigürasyondan fazlası

Anvil’in model yönlendirme sistemi, karmaşık bir kodlama gerektirmiyor. Sadece bir YAML dosyasıyla yapılandırılabiliyor. Örneğin:

# ~/.anvil/stage-policy.yaml
stages:
  clarify:
    capability: reasoning
    complexity: S
    prefer: [local, cheap, premium]
  plan:
    capability: reasoning
    complexity: L
    prefer: [premium]
  build:
    capability: code
    complexity: M
    prefer: [local, cheap, premium]
  review:
    capability: reasoning
    complexity: L
    prefer: [premium]

Bu yapılandırma dosyasında her aşamanın ihtiyaç duyduğu yetenekler, karmaşıklık düzeyi ve tercih edilen model sınıfları belirleniyor. Sistem, ~/.anvil/models.yaml dosyasındaki mevcut modelleri tarayarak, her aşama için en uygun ve en ucuz modeli otomatik olarak seçiyor.

Sekiz sağlayıcı, tek bir boru hattı

Anvil, sekiz farklı LLM sağlayıcısına destek sunuyor:

• Claude
• OpenAI
• Gemini
• OpenRouter
• OpenCode
• Ollama
• Gemini CLI
• Google ADK

Her bir sağlayıcıya ait adaptörler aynı standart formatı kullanıyor ve hata yönetimi ile maliyet hesaplamaları aynı şekilde gerçekleştiriliyor. Önemli bir detaysa, hiçbir sağlayıcının SDK’sının doğrudan kullanılmaması. Tüm bağlantılar elle yazılmış fetch() fonksiyonlarıyla gerçekleştiriliyor. Bu sayede, bir sağlayıcı aniden hizmet dışı kalsa bile, kod çalışmaya devam ediyor.

v0.1.0 Sürümündeki yenilikler

Anvil’in ilk stabil sürümü olan v0.1.0, kullanıcılarına birçok yenilik sunuyor. Bu özellikler, hem maliyetleri düşürmeyi hem de çıktı kalitesini artırmayı hedefliyor.

9 aşamalı boru hattı çalıştırıcısı

Küçük ve odaklanmış aşamalar, her AI çağrısının kısa ve ucuz olmasını sağlıyor. Aynı zamanda, zincirdeki bir sağlayıcıda karşılaşılan hata durumunda, sistem otomatik olarak diğer modellere geçiş yapabiliyor.

Hibrit veri alma sistemi

Anvil, vektör arama, BM25, proje grafiği alma, çapraz kodlayıcı yeniden sıralama ve AST bölütleme gibi farklı veri alma yöntemlerini bir araya getiriyor. Bu sayede, yerel modeller bile doğru bağlam sayesinde daha karmaşık görevleri yerine getirebiliyor.

Uzun vadeli hafıza yönetimi

Sistem, uzun vadeli hafızayı iki zamanlı geçerlilik ve kod olgusu kayması tespitiyle yönetiyor. Bu sayede, AI aracı geçmişte çözdüğü sorunları yeniden keşfetmek yerine, onlardan faydalanıyor ve gereksiz token harcamalarından kaçınıyor.

Geleneksel kural motoru

Tekrarlanan hataların otomatik olarak tespit edilip, kodlama sürecine dahil edilmesini sağlayan geleneksel kurallar sistemi bulunuyor. Bu sayede, aynı hatanın ikinci kez yapılmasının önüne geçiliyor ve AI’nin gereksiz yere token harcaması engelleniyor.

Plan doğrulayıcısı

Planlama aşamasında karşılaşılabilecek eksiklikleri, yanlış yönlendirmeleri ve yetersiz test stratejilerini tespit eden bir doğrulayıcı sistemi bulunuyor. Bu sayede, kod yazılmaya başlamadan önce olası sorunlar erkenden belirlenebiliyor.

Çok aşamalı PR inceleme sistemi

Anvil’in PR inceleme sistemi, kanıt filtreleme, kapsam eşleştirme ve bilgi tabanı bağlamı gibi özellikleri içeriyor. Bu sayede, premium modeller yalnızca gerçekten gerekli olduğu durumlarda kullanılıyor.

Maliyet ve performans izleme

Her model çağrısı, gerçek maliyet verilerini içeren OpenTelemetry standartlarına uygun olarak kaydediliyor. Tahminlere dayanmayan bu sistem, kullanıcıların bütçelerini net bir şekilde takip etmelerini sağlıyor.

Anvil’i nasıl deneyebilirsiniz?

Anvil’i kullanmaya başlamak oldukça basit. Öncelikle CLI aracını yüklemek gerekiyor:

npm install -g @esankhan3/anvil-cli

Daha sonra projeyi başlatabilirsiniz:

anvil init

Son olarak, yerel bir arayüzde çalıştırmak için:

anvil dashboard

açılan tarayıcı penceresinde, boru hattının ilerleyişini, geçmiş çalışmaları, bilgi grafiğini ve bellek incelemesini görüntüleyebilirsiniz. Eğer yerel olarak Ollama kullanıyorsanız, tamamen çevrimdışı çalışabilirsiniz:

brew install ollama
ollama pull qwen3:14b

OpenCode Zen aboneliğine sahipseniz, yerel modelleri tamamen atlayarak sadece barındırılan açık kodlama modellerini kullanabilirsiniz.

Gelecekte ne olacak?

Anvil’in ilk stabil sürümü birçok önemli özelliği içeriyor olsa da, geliştiriciler intentional olarak bazı özellikleri bu aşamada dahil etmedi. Örneğin, barındırılan bir hizmet modeli sunulmaması ve hiçbir sağlayıcı SDK’sının doğrudan kullanılmaması, projenin tamamen sağlayıcıdan bağımsız kalmasını sağlamak için tercih edilen bir yaklaşım. Gelecekte ise, topluluk geri bildirimlerine dayalı olarak yeni özelliklerin eklenmesi ve mevcut sistemin daha da optimize edilmesi planlanıyor. Anvil’in hedefi, AI kodlama araçlarında devrim yaratmak ve kullanıcılara gerçekten özgür bir seçim imkanı sunmak.