Claude Code için Gerçek Web Tarayıcı Gücü: Scrapling MCP Entegrasyonu

Yapay zeka destekli kod asistanları giderek daha yetenekli hale geliyor ancak çoğu, canlı web sayfalarına erişme konusunda sınırlı kalıyor. Örneğin Claude Code, yerel dosyaları okuyabilir ve kabuk komutlarını çalıştırabilir, ancak gelişmiş anti-bot sistemleriyle korunan sitelere doğrudan erişim sağlayamaz. Bu noktada devreye, Scrapling MCP entegrasyonu giriyor. Açık kaynaklı D4Vinci/Scrapling projesinin temelini oluşturan bu araç, yapay zekâ aracınıza on adet özel web tarama fonksiyonu sunuyor. Bu fonksiyonlar arasında HTTP istekleri, headless tarayıcı işlemleri, Cloudflare gibi koruma sistemlerini aşan stealth yöntemleri ve hatta sayfa ekran görüntüleri alma yer alıyor. Scrapling’in kendisi sıfırdan geliştirilmedi; zaten var olan bir scraping framework’unun yapay zeka araçlarıyla entegre edilmesiyle oluşturuldu. Peki bu entegrasyon nasıl çalışıyor ve nelere dikkat etmek gerekiyor?

Scrapling Nedir ve Nasıl Çalışır?

Scrapling, uyarlanabilir web tarama framework’üdür. Temel amacı, modern web sitelerinin karmaşık yapılarına rağmen verileri güvenilir şekilde toplamaktır. Bu framework’un en önemli bileşeni, farklı tarama yöntemlerine sahip olan fetch araçlarıdır:

• curl_cffi tabanlı HTTP istemcisi: Gerçek tarayıcı TLS parmak izlerini taklit eden hızlı bir istemci sunar. Bu sayede, Cloudflare gibi koruma sistemlerinin engelleme girişimlerini azaltır.
• Playwright destekli tarayıcı: JavaScript ile render edilen sayfalar için tam teşekküllü bir headless tarayıcı ortamı sağlar.
• Stealth tarayıcı (patchright tabanlı): Anti-bot sistemlerini doğrudan aşma yeteneğine sahip olup, Cloudflare Turnstile gibi koruma mekanizmalarını bypass eder.
• Yapısal analiz aracı: Sayfaların HTML yapısını "öğrenir" ve sitesi yeniden tasarlandığında bile seçicilerinizin çalışmaya devam etmesini sağlar.

Bu araçlar, Scrapling’in asıl geliştiricisi tarafından oluşturulmuş olup, kullanıcıya yalnızca entegrasyon sürecini kolaylaştırmak için MCP sunucusu şeklinde sunulmaktadır. MCP (Model Context Protocol), yapay zeka ajanlarına özel araçlar eklemek için standart bir protokoldür. Scrapling’in MCP sunucusu, on farklı araca sahip olup, bunlar doğrudan Claude Code’un arayüzünde kullanılabilir hale gelir.

MCP Entegrasyonunun Kurulum Süreci

Scrapling’in MCP sunucusunu kurmak için fazla kod yazmaya gerek yoktu; asıl zorluk, yerel kurulum ve entegrasyon sürecindeydi. İşte adım adım uygulanan süreç:

1. Depoyu klonlama ve sanal ortam oluşturma: Scrapling projesini claude/Scrapling/ dizinine klonladıktan sonra, Python 3.14 kullanılarak izole bir sanal ortam oluşturuldu. Bu adımda Python’un çok yeni bir versiyonunu kullanmanın riskleri göz önünde bulundurulduysa da, tüm bağımlılıkların (özellikle curl_cffi paketinin) uyumlu olduğu görüldü.

1. Tarayıcı ikili dosyalarının indirilmesi: scrapling install komutu, Playwright’in Chromium tarayıcısını ve patchright için gerekli headless ortamı indirdi. Bu işlem yaklaşık 700 MB boyutunda bir indirme gerektirdi ve hem Playwright hem de patchright farklı versiyonlar kullandığı için disk kullanımı daha da arttı.

1. Claude Code’a MCP sunucusunun kaydedilmesi: MCP sunucuları, ~/.claude.json dosyasında tanımlanır. Bu dosyaya scrapling aracı eklenerek, global olarak tüm projelerde kullanılabilir hale getirildi. Önemli bir not: MCP sunucuları, oturum başladığında yüklenir, bu yüzden değişikliklerin etkili olması için Claude Code’un yeniden başlatılması gerekir.

1. Doğrulama testleri: Tüm on araç, quotes.toscrape.com gibi bir test sitesi üzerinde denenerek çalıştıkları doğrulandı. Bu testlerde get, fetch, stealthy_fetch ve screenshot gibi fonksiyonların yanı sıra oturum yönetimi araçları da başarıyla çalıştı.

Dikkat Edilmesi Gereken Noktalar

Bu entegrasyon sürecinde karşılaşılan üç önemli zorluk vardı ve bunların önceden bilinmesi, zaman kaybını önleyebilirdi:

• `.claude.json` dosyasının yedeklenmesi: Bu dosya, Claude Code’un tüm yapılandırmasını ve MCP sunucularını içerir. Yanlışlıkla yapılan bir değişiklik, aracın çalışmamasına neden olabilir. Bu yüzden, herhangi bir değişiklik yapmadan önce dosyanın yedeği alınmalıdır.

• MCP sunucularının yeniden başlatma gerektirmesi: JSON dosyasına yapılan değişiklikler, ancak aracın yeniden başlatılmasıyla etkili olur. Bu durum, ilk kez karşılaşan kullanıcılar için kafa karıştırıcı olabilir.

• Python 3.14’ün yeni versiyon riski: İzole bir sanal ortamda Python’un en yeni versiyonunu kullanmak, bağımlılıkların uyumluluğu konusunda risk taşır. Neyse ki, tüm paketler sorunsuz şekilde çalıştı ve bu risk ödüllendirildi.

Scrapling MCP’nin Avantajları ve Geleceği

Scrapling’in Claude Code’a entegre edilmesi, yapay zeka destekli kod asistanlarının yeteneklerini önemli ölçüde genişletmektedir. Artık, yapay zeka araçları web sayfalarına doğrudan erişebilir, JavaScript içeren siteleri render edebilir ve hatta anti-bot sistemlerini aşabilir hale geldi. Bu, özellikle veri toplama, web scraping ve otomatik test süreçlerinde büyük bir avantaj sağlıyor.

Ancak, bu entegrasyonun bazı sınırlamaları da bulunuyor. Örneğin, tarayıcı ikili dosyalarının boyutu ve sürekli güncellenen web sitelerinin yapısal değişikliklerine uyum sağlama gerekliliği, uzun vadede bakım maliyetlerini artırabilir. Yine de, Scrapling’in sunduğu esneklik ve güç, yapay zeka araçlarının web dünyasıyla etkileşimini tamamen değiştirebilir. Gelecekte, benzer entegrasyonların daha da yaygınlaşması ve yapay zeka destekli araçların web erişiminde daha fazla yetenek kazanması bekleniyor.