Web’in karmaşık yapısı içinde kaybolan asıl içeriği bulmak her zaman kolay olmadı. Reklamlar, gezinme çubukları, yan paneller ve footer’lar, arama motorlarından toplanan verilerin çoğunu işe yaramaz hale getiriyor. Bu soruna çözüm bulmak için yola çıkan Feyn’in kurucusu Shreyash, Pulpie adlı yeni bir model ailesi geliştirdi. Pulpie, ham HTML dosyalarından sadece ana içeriği çıkararak hem kaliteyi hem de maliyeti optimize eden bir yapı sunuyor.
Pulpie’nin sunduğu yenilik, içerik temizleme alanındaki mevcut çözümlerden oldukça farklı çalışıyor. Günümüzde lider kabul edilen modeller, çıktıyı token token üreterek ilerliyor. Her bir token üretimi için modelin tamamı bellekten okunuyor ve bu işlem hem yavaş hem de maliyetli olabiliyor. Oysa Pulpie, encoder tabanlı mimarisi sayesinde tam tersini yapıyor. Girdi olarak aldığı HTML’in tamamını tek bir ileri geçişle tarıyor ve her bloğu içerik mi yoksa gereksiz içerik mi olarak etiketliyor. Bu yaklaşım, bellek yerine hesaplama gücünü ön plana çıkarıyor ve daha ucuz GPU’lardan maksimum verim alınmasını sağlıyor.
Pulpie ve Dripper: Maliyet ve Performans Karşılaştırması
Pulpie’nin sunduğu avantajları rakamlarla da görmek mümkün. 1 milyar web sayfasını temizlemek için Dripper adlı mevcut lider çözüm 159.000 ABD doları harcarken, Pulpie sadece 7.900 ABD doları maliyet çıkarıyor. Bu, maliyetlerde yaklaşık yüzde 95’lik bir tasarruf anlamına geliyor. Aynı zamanda Pulpie, State-of-the-Art (SOTA) çıkarma kalitesini de koruyor. Yani hem daha ucuz hem de daha etkili bir içerik temizleme çözümü sunuyor.
Aşağıda, aynı sayfaların Pulpie ve Dripper tarafından nasıl temizlendiğine dair bir karşılaştırma yer alıyor:
- Pulpie: Ana içerik net bir şekilde çıkarılıyor, reklamlar ve gezinme unsurları tamamen temizleniyor.
- Dripper: Bazı gereksiz unsurlar kalabiliyor ve işlem süresi daha uzun olabiliyor.
Bu karşılaştırmayı kendi gözlerinizle görmek için Hugging Face üzerindeki demo sayfasını ziyaret edebilirsiniz.
Neden Pulpie? Veri Temizliğinin Kritik Önemi
Feyn ekibi, Pulpie’yi geliştirirken aslında derin araştırma altyapıları inşa ederken karşılaştıkları bir sorundan yola çıktı. Arama API’ları genellikle gürültülü veriler döndürüyor ve bu veriler içinde reklamlar, gezinme unsurları ve yan paneller yer alabiliyor. Shreyash’ın da belirttiği gibi, bir arama sonuçunda “Gemini on Pixel” reklamının çıktığı ve bu reklamın doğrudan LLM bağlamına dahil olarak nihai yanıta yansıdığı bir durum yaşanmış. Bu olay, kirli verilerin model zekasını nasıl olumsuz etkilediğini net bir şekilde ortaya koydu.
Pulpie’nin geliştirilme motivasyonu da tam olarak bu noktada başladı: temiz ve güvenilir veri sağlamak. Bu sayede hem araştırma süreçleri daha verimli hale geliyor hem de modeller daha doğru sonuçlar üretiyor.
Açık Kaynak ve Erişilebilirlik
Pulpie’nin tüm modelleri Hugging Face üzerinde açık kaynak olarak yayınlandı. Bu sayede herkes modeli indirebilir, inceleyebilir ve kendi projelerinde kullanabilir. Ayrıca, modelin eğitim süreci ve kullanım kılavuzu hakkında detaylı bilgilere Feyn’in blog sayfasından ulaşmak mümkün.
Pulpie’nin sunduğu avantajları özetlemek gerekirse:
- Düşük maliyet: Mevcut çözümlere göre yüzde 95 daha ucuz.
- Yüksek kalite: State-of-the-Art çıkarma performansı.
- Verimli çalışma: Encoder tabanlı mimari sayesinde bellek yerine hesaplama gücü odaklı.
- Açık kaynak: Herkes tarafından kullanılabilir ve incelenebilir.
Gelecekte Neler Bekliyor?
Pulpie’nin geliştirilme süreci henüz yeni başlıyor. Gelecekte, modelin daha da optimize edilmesi ve farklı dillerde ve içerik türlerinde de aynı verimliliği sağlaması hedefleniyor. Ayrıca, Feyn’in derin araştırma altyapılarında Pulpie’nin kullanımının yaygınlaşmasıyla birlikte, daha temiz ve güvenilir verilerin elde edilmesi bekleniyor. Web’in karmaşık yapısı içinde kaybolan asıl içeriği bulmak artık çok daha kolay ve erişilebilir hale geliyor.
Yapay zeka özeti
Pulpie, web sayfalarından reklam ve gereksiz unsurları otomatik olarak temizleyen açık kaynaklı bir model ailesi. Maliyetleri yüzde 95 düşürürken kaliteyi koruyor. Nasıl çalıştığını ve kullanımını öğrenin.
