CrawlForge 4.2.2: Lokale KI-Extraktion ohne API-Schlüssel

CrawlForge 4.2.2 markiert die größte Aktualisierung seit der Einführung der Plattform. Die Version bringt nicht nur drei neue Tools mit, sondern setzt einen klaren Fokus auf lokale Webextraktion für KI-Anwendungen – ganz ohne externe API-Schlüssel. Mit der neuen Version wird das Scraping von Webinhalten effizienter, kostengünstiger und datenschutzfreundlicher.

Warum lokale Extraktion für KI-Szenarien entscheidend ist

Die meisten Webextraktions-Tools verlassen sich auf Cloud-Dienste von Anbietern wie OpenAI oder Anthropic. Dies führt zu zwei Problemen: hohe Kosten und Datenschutzbedenken. Mit CrawlForge 4.2.2 ändert sich das. Die neue Version ermöglicht es Nutzern, Webinhalte direkt auf ihrem eigenen Rechner zu verarbeiten – mithilfe lokaler Sprachmodelle wie Ollama. Das spart nicht nur Geld, sondern stellt auch sicher, dass sensible Daten das eigene System nicht verlassen.

Die neue CrawlForge-CLI: Effizienz für Terminal und Automatisierung

Eine der größten Neuerungen ist die Einführung einer eigenständigen Kommandozeilen-Schnittstelle (CLI) namens `@crawlforge/cli`. Diese ersetzt die bisherige Notwendigkeit eines MCP-Clients und ermöglicht es Nutzern, direkt aus der Shell auf alle 23 Tools von CrawlForge zuzugreifen. Die CLI ist besonders für Automatisierungszwecke wie Cron-Jobs oder CI/CD-Pipelines geeignet, da sie JSON-Daten direkt an Standard-Tools wie jq weiterleiten kann.

Ein typischer Befehl sieht nun so aus:

npm install -g @crawlforge/cli
export CRAWLFORGE_API_KEY="cf_live_dein_schlüssel_hier"
crawlforge scrape 
crawlforge search "beste MCP-Server 2026"
crawlforge research "KI-Agenten-Frameworks" --depth 3

Die CLI ist damit die ideale Lösung für:

• Terminal-Nutzer, die schnell und unkompliziert Daten extrahieren möchten
• Automatisierungsprozesse wie geplante Scraping-Jobs oder CI/CD-Pipelines
• Entwickler, die JSON-Daten direkt in Skripte integrieren wollen

Lokale KI-Extraktion mit extract_with_llm – ohne versteckte Kosten

Das Tool `extract_with_llm` ermöglicht strukturierte Datenextraktion mit Sprachmodellen – und das standardmäßig lokal. Nutzer können dabei zwischen verschiedenen Anbietern wie Ollama, OpenAI oder Anthropic wählen. Der große Vorteil: Bei lokalen Modellen fallen keine API-Gebühren an, und die extrahierten Daten bleiben auf dem eigenen Rechner.

Ein Beispiel für die Extraktion von Strukturdaten:

{
  "url": "
  "schema": {
    "type": "object",
    "properties": {
      "title": { "type": "string" },
      "points": { "type": "number" },
      "comments": { "type": "number" }
    }
  },
  "provider": "ollama",
  "model": "llama3.1:8b"
}

Die Kosten bleiben dabei überschaubar: Pro Extraktion werden nur drei CrawlForge-Credits fällig – unabhängig vom verwendeten Sprachmodell. Lokale Modelle eignen sich besonders für:

• Strukturierte Daten wie Titel, Preise oder Bewertungen
• Vorhersehbare Extraktion ohne komplexe Kontextanalyse

Für anspruchsvollere Aufgaben wie Langtext-Zusammenfassungen oder sentimentanalysen sind nach wie vor Cloud-basierte Modelle wie Claude Sonnet 4.6 die bessere Wahl. Hier fallen zusätzliche Token-Gebühren an, aber die Extraktion erfolgt weiterhin über die CrawlForge-API.

Vordefinierte Scraper mit scrape_template – Zeitersparnis inklusive

Mit `scrape_template` führt CrawlForge eine Sammlung vordefinierter Scraper für zehn der meistgenutzten Websites ein. Nutzer müssen keine eigenen CSS-Selektoren mehr schreiben, sondern können auf vorkonfigurierte Templates zurückgreifen. Das spart nicht nur Zeit, sondern reduziert auch Fehleranfälligkeit.

Die verfügbaren Templates und ihre Kosten:

• Amazon: Produktname, Preis, Bewertungen, Bilder (1 Credit)
• LinkedIn: Profilname, Berufserfahrung, Fähigkeiten (1 Credit)
• GitHub: Repository-Metadaten, Stars, Programmiersprachen (1 Credit)
• YouTube: Video-Titel, Aufrufe, Kanal, Transkript (1 Credit)
• Reddit: Post-Titel, Bewertungen, Kommentare (1 Credit)
• Hacker News: Story-Titel, Punkte, Kommentare (1 Credit)
• Stack Overflow: Frage, Antworten, akzeptierte Lösung (1 Credit)
• npm: Paketmetadaten, Downloads, Versionen (1 Credit)
• Product Hunt: Produktname, Beschreibung, Upvotes (1 Credit)
• Twitter/X: Tweet-Text, Autor, Engagement (1 Credit)

Ein Beispiel für die Nutzung:

crawlforge template amazon --url "
crawlforge template github --url "
crawlforge template hackernews --top 10

list_ollama_models – Schnellübersicht lokaler Sprachmodelle

Nicht jeder Nutzer kennt alle verfügbaren lokalen Sprachmodelle auf seinem System. Das neue Tool `list_ollama_models` bietet eine schnelle Übersicht aller installierten Ollama-Modelle. Damit lässt sich ohne manuelles Durchsuchen von Verzeichnissen prüfen, welche Modelle für die Extraktion zur Verfügung stehen.

Kosten und Upgrade-Pfade

CrawlForge bleibt auch in Version 4.2.2 bei einem kostenlosen Basis-Tarif mit 1.000 Credits. Für Nutzer, die höhere Volumina benötigen, stehen verschiedene Premium-Pläne zur Verfügung. Das Upgrade erfolgt einfach über die bestehende CrawlForge-Plattform.

Die neuen Features machen CrawlForge zu einer noch attraktiveren Lösung für Entwickler und Unternehmen, die Webextraktion für KI-Anwendungen effizient und datenschutzkonform gestalten möchten. Mit der Fokussierung auf lokale Verarbeitung und einer benutzerfreundlichen CLI setzt das Tool neue Maßstäbe für die Branche.

In den kommenden Wochen folgen vertiefende Anleitungen zu jedem neuen Feature. Wer jetzt direkt loslegen möchte, installiert die neue Version einfach über npm und beginnt mit der lokalen Extraktion von Webdaten.

Erfahren Sie mehr über die neuen Funktionen und nutzen Sie die kostenlose Testversion, um CrawlForge 4.2.2 selbst auszuprobieren.