Claude Code Becerilerini Nasıl 69.000’e Kadar İndekseler ve Ne Öğrendim?

Günümüzde geliştiriciler tarafından kullanılan araçlar sürekli evrilirken, Antropic’in Claude Code aracı da benzersiz bir yaklaşım sunuyor: kullanıcıların doğal dil talimatlarıyla çalışabilen özel yetenekleri (skills) desteklemesi. Bu yetenekler, basit bir SKILL.md dosyasında tanımlanıyor ve 69.000’den fazla dosyanın toplu olarak indekslenmesiyle ortaya çıkan bir ekosistemde, bu araçların nasıl keşfedilebilir, değerlendirilebilir ve paylaşılabilir hale getirildiğini inceledik.

SKILL.md Ekolojisinin Gizli Yüzü: Keşfedilmeyen Uzun Kuyruk

Claude Code’un yetenek sistemi, Vim eklentileri veya VS Code uzantılarına benzer şekilde çalışır: geliştiriciler, özel komutlar oluşturmak için SKILL.md dosyaları hazırlar ve bu dosyaları ~/.claude/skills/ dizinine yerleştirirler. Ancak, bu ekosistemin en büyük sorunu keşfedilebilirlik oldu. Resmi bir katalog bulunmadığından, geliştiricilerin yetenekleri bulabilmesi için ya Twitter ve Discord gibi platformlarda paylaşılmasına ya da GitHub’da rastlantısal olarak karşılaşmasına bağlı kaldı.

Araştırmalarımız sırasında, GitHub’da binlerce `SKILL.md` dosyasının var olduğunu, ancak çoğunun elle derlenmiş listelerde yer almadığını gördük. Resmi spesifikasyonun henüz değişken ve olgunlaşmamış olması da ek bir zorluk yaratıyordu. Örneğin, allowed-tools veya user-invokable gibi yeni eklenen alanlar, eski dosyaların geçersiz hale gelmesine neden olabiliyordu.

Bu boşluğu doldurmak için, açık veri ilkesine dayanan, günlük olarak yenilenen ve ücretsiz API sunan bir katalog oluşturduk. Bu katalogda yer almak için geliştiricilerin herhangi bir ücret ödemesi gerekmiyor; yalnızca içerik kalitesi ve şeffaflık değerlendiriliyor.

24 Farklı Kaynaktan Veri Toplama: Gelişmiş Bir Madencilik Sistemi

Katalogu oluştururken, günlük olarak 24 farklı kaynaktan veri toplamak için optimize edilmiş bir Python aracı kullandık. Bu araç, yerel saatle gece 01:00’de çalıştırılıyor ve aşağıdaki kaynaklardan SKILL.md dosyalarını topluyor:

• GitHub Code Search: 101 farklı sorgu çeşidiyle dil ipuçları, frontmatter alanları ve tarih sınırlamaları kullanarak, 1.000 sonuç sınırını aşmadan veri topluyor.
• GitHub Topics ve Etiketler: claude-code-skills etiketli depoların yanı sıra benzer konulardaki depoları da tarıyor.
• GitHub Gists ve Listelemesi: Tek dosyalık yeteneklerin sıklıkla Gists’te paylaşıldığını biliyoruz; bu nedenle bu kaynak da taranıyor.
• Topluluk Listeleri ve Forums: 32 farklı awesome-* listesinden elle seçilmiş yeteneklerin yanı sıra Reddit, Hacker News ve Mastodon gibi platformlardaki alıntıları da metin taramasıyla analiz ediyor.
• Arşivlenmiş ve Silinmiş Depolar: Wayback Machine’in CDX API’si sayesinde, adı değiştirilmiş veya silinmiş depoların arşivlenmiş sürümleri üzerinden veri kurtarılabiliyor.
• Yıldızlama Grafiği Analizi: Bir geliştiricinin yetenek deposunu bulduğumuzda, onun yıldızladığı diğer depoları da tarayarak yeni kaynaklara ulaşmaya çalışıyoruz.
• VS Code ve Open VSX Pazar Yerleri: Bazı uzantıların SKILL.md dosyalarıyla birlikte yayınlandığını biliyoruz ve bu kaynakları da tarıyoruz.
• Arama Motorları ve LLM’ler: Brave Search API’yi kullanarak web tabanlı keşifler yapıyor ve Claude’dan elde edilen fikirlerle gelecekteki sorguları genişletiyoruz.

Her kaynak, aday URL’ler döndürüyor. Ardından, aracımız bu dosyaları indiriyor, YAML frontmatter’ını doğruluyor ve içeriği değerlendirmek için bir kabul puanlama sistemi uyguluyor. Bu sistemde, geliştiricilerin hazırladıkları yeteneğin kullanım alanları dışındaki durumları belirtip belirtmediği, fiyatlandırma bilgilerini paylaşıp paylaşmadığı ve frontmatter’da ne kadar ayrıntılı bilgiler sunduğu gibi kriterler yer alıyor. Son olarak, yetenekler 10 farklı kategoriye (örneğin, Mühendislik, Güvenlik, Büyüme) ayrılıyor ve yaklaşık 100 farklı etiketle sınıflandırılıyor. Tüm bu veriler, statik bir HTML sayfasında yayınlanıyor ve aynı gün içerisinde kullanıma sunuluyor.

İçerik Sinyallerine Dayalı Kabul: Popülerlikten Bağımsız Bir Yaklaşım

Bu katalog için en önemli prensip, sıralamanın asla satın alınamaması. Geliştiricilerin ücret ödeyerek listede daha üst sıralarda yer alması, ekosistemin güvenilirliğini zedelerdi. Bunun yerine, yalnızca içerik kalitesine dayalı bir puanlama sistemi uyguladık.

Değerlendirme kriterlerimiz şunları içeriyor:

• Kullanım Dışı Senaryoların Belirtilmesi: SKILL.md dosyasının "kullanılmaması gereken durumlar" veya "kapsam dışı" bölümleri içerip içermediği. Bu, geliştiricinin kenar durumları ne kadar iyi düşündüğünü gösteren en önemli sinyallerden biri.

• Maliyet ve Kota Şeffaflığı: Geliştiricinin, yeteneğin kullanım maliyetlerini, API kota sınırlarını veya beklenen harcama miktarını belirtip belirtmediği. Bu, kullanıcıların sürprizlerle karşılaşmasını engelliyor.

• Frontmatter Derinliği: name: ve description: alanlarının yanı sıra, model:, tags:, version:, license: ve allowed-tools: gibi diğer alanların ne kadar kapsamlı olduğu. Bu, yeteneğin ne kadar detaylı hazırlandığını gösteriyor.

• İçerik Uzunluğu ve Yapısı: description: alanının yeterli uzunlukta olup olmadığı, çoklu kod blokları içerip içermediği ve başlıklarla iyi organize edilip edilmediği.

• Dolgu Cümlelerinin Cezalandırılması: // TODO, Lorem ipsum veya standart şablon cümlelerinin kullanılması durumunda puan düşürülüyor.

Bu sistemde, popülerlik veya takipçi sayısı değil, içeriğin kalitesi ve şeffaflığı değerlendiriliyor. Örneğin, 50.000 takipçisi olan bir geliştiricinin hazırladığı basit bir yetenek yerine, 0 takipçisi olan bir geliştiricinin detaylı açıklamalar ve kenar durum analizleri içeren yeteneği daha yüksek puan alıyor.

Geleceğe Yönelik Fırsatlar: Açık Veri ve Sürekli İyileştirme

Bu katalog, yalnızca açık veri ilkelerine bağlı kalmakla kalmıyor, aynı zamanda geliştiricilerin yeteneklerini daha iyi hazırlamaları için bir rehber görevi de görüyor. Gelecekte, kullanıcıların yetenekleri değerlendirmesine ve karşılaştırmasına olanak tanıyan bir katman eklemeyi planlıyoruz. Bu katman, aynı içerik odaklı puanlama sistemiyle çalışacak, ancak kullanıcıların kendi deneyimlerine dayalı puanlamalarını da içerecek.

Ayrıca, topluluk girdilerini ve geri bildirimleri sürekli olarak entegre ederek katalogun doğruluğunu ve kapsamını artırmayı hedefliyoruz. Bu sayede, geliştiriciler için daha kullanışlı ve güvenilir bir kaynak haline gelecek. Sonuç olarak, Claude Code ekosisteminin büyümesine katkıda bulunmakla kalmayıp, aynı zamanda açık kaynaklı araçların nasıl daha erişilebilir ve değerlendirilebilir hale getirilebileceğine dair önemli dersler sunuyoruz.