Die Aufbereitung von Webinhalten für maschinelle Analysen ist eine Herausforderung. Werden etwa Suchergebnisse oder Web-Scraping-Daten direkt in KI-Systeme eingespeist, enthalten sie häufig irrelevante Elemente wie Werbebanner, Fußzeilen oder Seitenleisten. Das Startup Feyn hat mit Pulpie eine Lösung entwickelt, die diese Störfaktoren automatisch erkennt und entfernt – und zwar mit einer neuen Architektur, die Effizienz und Kostenvorteile vereint.
Warum herkömmliche Extraktionsmethoden an Grenzen stoßen
Viele Web-Extraktionswerkzeuge wie das Tool Dripper folgen einem sequenziellen Ansatz: Sie decodieren den HTML-Code Schritt für Schritt und erzeugen dabei Token für Token den bereinigten Ausgabecode. Jeder dieser Schritte erfordert den vollständigen Zugriff auf das Modell im Arbeitsspeicher, was den Prozess sowohl rechenintensiv als auch kostspielig macht. Für die Bereinigung von einer Milliarde Webseiten fallen bei Dripper Kosten in Höhe von rund 159.000 US-Dollar an.
Pulpie setzt hier auf einen grundlegend anderen Ansatz. Statt die Ausgabe tokenweise zu generieren, analysiert das Modell den gesamten HTML-Code in einem einzigen Durchlauf. Dabei werden einzelne Code-Blöcke direkt als irrelevanter oder relevanter Inhalt klassifiziert. Diese Methode reduziert den Rechenaufwand erheblich, da Pulpie nicht auf den Arbeitsspeicher angewiesen ist, sondern primär Rechenleistung nutzt – eine Eigenschaft, die besonders auf kostengünstigeren Grafikprozessoren mit hoher Rechenleistung und moderater Speicherkapazität effizient funktioniert.
Deutliche Kosteneinsparungen durch neue Architektur
Die technischen Unterschiede schlagen sich in messbaren Vorteilen nieder. Pulpie erreicht eine ähnliche Qualität bei der Inhaltsbereinigung wie herkömmliche Extraktoren, ist dabei jedoch bis zu 20-mal kostengünstiger. Während Dripper für eine Milliarde Webseiten rund 159.000 US-Dollar benötigt, liegen die Kosten bei Pulpie bei nur 7.900 US-Dollar. Diese Einsparungen resultieren aus der effizienteren Nutzung von Hardware-Ressourcen und der Möglichkeit, preiswertere GPU-Modelle einzusetzen.
Die Leistungsfähigkeit des Modells wird durch eine direkte Gegenüberstellung mit Dripper unter Beweis gestellt. In einem Video demonstriert das Feyn-Team, wie beide Tools denselben HTML-Code verarbeiten und wie unterschiedlich die Ergebnisse ausfallen. Ein interaktiver Vergleich ist zudem über die Plattform Hugging Face verfügbar, wo Nutzer eigene Tests durchführen können.
Motivation: Saubere Daten für zuverlässige KI-Systeme
Die Entwicklung von Pulpie wurde durch ein konkretes Problem bei Feyn angestoßen. Das Unternehmen setzt Such-APIs ein, die jedoch oft unstrukturierte und verunreinigte Daten zurückgeben. In einem besonders peinlichen Vorfall gelangte eine Werbung für "Gemini auf Pixel" in die Suchergebnisse, wurde an ein Sprachmodell weitergegeben und erschien schließlich in einer Benutzerantwort. Solche Vorfälle zeigen, wie stark verunreinigte Daten die Qualität von KI-Systemen beeinträchtigen können.
Um solche Probleme zu vermeiden, benötigte das Team eine zuverlässige Methode zur Bereinigung von Webinhalten. Pulpie entstand als Antwort auf diese Herausforderung. Das Modell ist in der Lage, nicht nur Werbung und Navigationselemente zu erkennen, sondern auch komplexe Layouts zu analysieren und den eigentlichen Inhalt zu extrahieren. Die Lösung ist als Open-Source-Projekt auf Hugging Face verfügbar und kann somit frei genutzt und angepasst werden.
Einfache Nutzung und vielseitige Anwendungsmöglichkeiten
Pulpie unterstützt verschiedene Ausgabeformate, darunter HTML und Markdown, und ist damit für eine Vielzahl von Anwendungsfällen geeignet. Ob zur Aufbereitung von Suchergebnissen, zur Datenvorverarbeitung für maschinelle Lernmodelle oder zur Erstellung von Content-Pipelines – die Technologie bietet eine flexible Lösung für Entwickler und Unternehmen.
Die Nutzung des Modells ist denkbar einfach. Nach der Installation über die Hugging Face-Plattform kann Pulpie direkt in bestehende Workflows integriert werden. Eine detaillierte Anleitung zur Einrichtung und zum Training des Modells ist in einem Blogbeitrag des Unternehmens beschrieben. Dort finden sich auch weitere Informationen zu den technischen Hintergründen und der Architektur von Pulpie.
Die Kombination aus hoher Effizienz, niedrigen Kosten und einfacher Handhabung macht Pulpie zu einer vielversprechenden Lösung für alle, die saubere Webdaten benötigen. In einer Zeit, in der die Qualität von Trainingsdaten immer mehr an Bedeutung gewinnt, könnte Pulpie einen wichtigen Beitrag zur Verbesserung von KI-Systemen leisten.
KI-Zusammenfassung
Pulpie, web sayfalarından reklam ve gereksiz unsurları otomatik olarak temizleyen açık kaynaklı bir model ailesi. Maliyetleri yüzde 95 düşürürken kaliteyi koruyor. Nasıl çalıştığını ve kullanımını öğrenin.
