CLI ve MCP arasındaki token kaybını %96 azaltan Chrome DevTools deneyi

Geliştiricilerin otomatik tarayıcı testleri için kullandığı Chrome DevTools MCP ve CLI entegrasyonu arasındaki performans farkını ölçmek amacıyla yapılan bir deneyde, beklenmedik bir sonuç ortaya çıktı: CLI tabanlı çözümler, token tüketimini %96 ila %99 oranında azaltabiliyor. Bu bulgu, yapay zeka destekli araçların gelecekte nasıl optimize edilebileceğine dair önemli ipuçları sunuyor.

Token Verimliliğinde Kritik Fark: MCP ve CLI Karşılaştırması

Deneyde, GitHub Copilot CLI kullanılarak aynı tarayıcı test senaryosu iki farklı yöntemle yürütüldü:

• Doğrudan Chrome DevTools MCP entegrasyonu
• mcp2cli aracıyla sarılmış Chrome DevTools MCP’nin CLI komutuna dönüştürülmüş hali

Sonuçlar, doğrudan MCP kullanımının 5.000 tokenlik ön yük oluşturduğunu gösterdi. Buna karşılık, CLI tabanlı yaklaşımda bu yük neredeyse sıfıra yakın seviyede kaldı. mcp2cli belgelerinde belirtilen "Her adımda harcanan araç şeması token'larının %96-99’unu kurtarır" iddiası, deneyde doğrulandı.

Neden CLI Daha Verimli? Sistem Uyarı Metni Kirliliği ve Keşif Maliyeti

CLI’nin avantajları sadece token sayısındaki düşüşle sınırlı değil. Araştırmacıların gözlemlediği temel farklar şunlar:

• Sistem uyarı metni kirliliği olmaması: CLI komutları, doğrudan çalıştırılabilir işlevler sunarak modelin gereksiz JSON şemaları ve tanımlamalarla boğulmasını engelliyor.
• Araç keşif sürecinin değişmesi: MCP, araç yüzeyini doğrudan şemalarla modele aktarırken, CLI yaklaşımı araçları komut listesi, yardım sorguları ve küçük testler yoluyla keşfettiriyor. Bu da API keşif maliyetini kullanıcıya ya da modele kaydırıyor.

Örneğin, GitHub CLI (gh) ile GitHub MCP arasında yapılan bir karşılaştırmada, CLI’nin modelin zaten bildiği bir araç olması nedeniyle daha az token tüketildiği ortaya çıktı.

Deney Düzeneği: Hangi Araçlar, Hangi Senaryolar Test Edildi?

Deney kapsamında aşağıdaki bileşenler kullanıldı:

• Model: gpt-5.3-codex-medium (GitHub Copilot CLI)
• Uygulama: Özel bir Python/Streamlit tabanlı kod deposu
• Test senaryosu: Aynı 9 adımlı tarayıcı smoke testi (tarayıcı açma, gezinme, etkileşim, kapatma)

İki farklı yol izlendi:

1. Doğrudan Chrome DevTools MCP kullanımı
2. mcp2cli ile sarılmış Chrome DevTools MCP’nin CLI komutuna dönüştürülmesi

CLI aracı, ilk olarak pi adındaki minimal kodlama ajanı tarafından otomatik olarak oluşturuldu. Bu süreçte, ajan sadece bash aracını kullanarak mcp2cli ve Chrome DevTools MCP dokümantasyonunu inceledi ve gerekli CLI komutlarını üretti. Daha sonra bu komutlar GitHub Copilot CLI ile iyileştirildi.

Token Tüketimi: Boş Çalıştırma ve Doğrudan MCP’nin Yükü

Boş bir Copilot CLI çalıştırması zaten 19.000 token seviyesindeydi. Doğrudan Chrome DevTools MCP kullanımı bu yükü 24.000’e çıkarırken, 5.000 tokenlik ek bir yük oluşturarak modele araç tanımlamalarını aktardı. Benzer büyüklükte iki MCP sunucusu daha etkinleştirilseydi, bu yükün 10.000 token daha artabileceği öngörüldü.

Çalıştırma Sonuçları: Hangi Yöntem Daha Hızlı ve Kararlıydı?

Üç farklı çalıştırma gerçekleştirildi ve her iki yöntemde de aynı test senaryosu uygulandı. Elde edilen veriler:

| Yaklaşım | Toplam Token | Mesaj Tokenı | Çalıştırma Süresi | Başarı Oranı | |----------|--------------|--------------|-------------------|--------------| | CLI Skill #1 | 39.000 | 20.500 | Kaydedilmedi | Sadece token istatistikleri | | CLI Skill #2 | 37.000 | 18.100 | 259 saniye | 9/9 başarılı (küçük düzeltmeyle) | | CLI Skill #3 | 38.000 | 18.900 | 141 saniye | 9/9 başarılı (UI hatasıyla) | | Doğrudan MCP #1 | 40.000 | 16.100 | Kaydedilmedi | Sadece token istatistikleri | | Doğrudan MCP #2 | 62.000 | 38.700 | ~101 saniye | 9/9 başarılı (en hızlı) | | Doğrudan MCP #3 | 79.000 | 55.900 | 241 saniye | 9/9 başarılı (uzun beklemeler) |

Doğrudan MCP kullanımının en hızlı çalıştırma süresine sahip olduğu görüldü. Ancak CLI yaklaşımı daha kararlı mesaj büyümesi sergiledi. Üçüncü MCP çalıştırmasında, ajan gereksiz uzun beklemeler yaparak token tüketimini önemli ölçüde artırdı.

Test Senaryosunun Önemi: Ajanın Rastgele Yürüyüşü Token Maliyetini Belirliyor

Deneyde ortaya çıkan en önemli bulgulardan biri, test senaryosunun karmaşıklığına bağlı olarak ajan davranışının tahmin edilemezliği oldu. Örneğin:

• Bir UI kimlik numarasının (UID) güncellenmemesi, modelin gereksiz yeniden denemeler yapmasına
• Bir bekleme döngüsüne takılması, token tüketiminin artmasına
• Gereksiz sayfa yenilemeleri ya da aşırı snapshot'lar, karşılaştırmayı geçersiz kılabiliyor

Bu nedenle, token tüketimini yalnızca araç entegrasyonunun tipi değil, ajanın problemi nasıl çözdüğü de belirliyor. Yapılan karşılaştırmanın geçerliliği, ajanların rastgele yürüyüşünün kontrol edilmesine bağlı.

Gelecekteki Optimizasyonlar: CLI’ler AI Araç Entegrasyonunun Yeni Dönemi mi?

Bu deney, CLI tabanlı araçların token verimliliği ve öngörülebilirliği açısından önemli avantajlar sunduğunu gösteriyor. Özellikle:

• Sistem uyarı metni kirliliğinin ortadan kaldırılması, modellerin daha az token harcayarak daha verimli çalışmasını sağlıyor.
• Araç keşif sürecinin basitleştirilmesi, kullanıcıların karmaşık şema tanımları yerine doğrudan komut satırı araçlarını kullanmasına olanak tanıyor.
• Minimal arayüzler, özellikle hafif kodlama ajanları için önemli bir avantaj sunuyor.

Gelecekte, CLI’lerin AI destekli geliştirme araçlarının standart entegrasyon yöntemi haline gelmesi bekleniyor. Bu yaklaşım, hem token maliyetlerini düşürüyor hem de geliştiricilerin karmaşık API’leri daha basit komutlarla kullanmasını kolaylaştırıyor.

Artık geliştiricilerin, otomatik testlerden tarayıcı otomasyonuna kadar geniş bir yelpazede CLI tabanlı AI entegrasyonlarını değerlendirmesi gerekiyor. Bu alanda yapılacak yeni araştırmalar, yapay zeka destekli araçların verimliliğini daha da artıracak.