Power Query als Geheimwaffe für automatisiertes Web-Scraping und SEO-Analysen

Digitale Ökosysteme werden immer komplexer, doch die manuelle Aggregation von Daten bleibt ein massives Hindernis für Unternehmen. Besonders im MarTech-Bereich oder bei der Erstellung von Analysen ist eine automatisierte Extraktion von Webdaten entscheidend – etwa für SEO-Audits, Wettbewerbsanalysen oder Echtzeit-Dashboards.

Während viele auf Python-basierte Tools wie Beautiful Soup oder Scrapy setzen, bietet Power Query eine effiziente Alternative, die direkt in Microsoft Excel und Power BI integriert ist. Die Lösung ermöglicht es, robuste Automatisierungspipelines ohne externe Abhängigkeiten aufzubauen.

Warum Power Query für Web-Scraping nutzen?

Power Query übernimmt die zentrale ETL-Aufgabe (Extrahieren, Transformieren, Laden) direkt im Tool. Statt mit externen Skripten, Datenbankanbindungen oder komplexen Abhängigkeiten zu kämpfen, profitieren Sie von folgenden Vorteilen:

• Direkte Verbindung zu Web-Ressourcen ohne zusätzliche Infrastruktur.
• Einfache Verarbeitung von strukturierten und unstrukturierten HTML-Tabellen.
• Automatisierte Extraktion paginierter Daten durch angepasste M-Code-Logik.

1. Strukturierte Web-Tabellen extrahieren

Der Einstieg ins Web-Scraping mit Power Query gelingt besonders einfach, wenn es um vordefinierte HTML-Tabellen geht. Die grafische Oberfläche von Power Query vereinfacht diesen Prozess:

• Öffnen Sie Excel oder Power BI und wählen Sie Daten > Aus Web.
• Geben Sie die Ziel-URL ein.
• Der Power Query Navigator analysiert den DOM-Baum und listet gefundene Tabellen zur Auswahl auf.

Für grundlegende Tabellen generiert Power Query automatisch folgenden M-Code:

let
  Source = Web.BrowserContents("),
  ExtractTable = Html.Table(
    Source,
    {
      {"Spalte1", "TABLE > TR > TD"}
    },
    [RowStyle = RowStyle.All]
  )
in
  ExtractTable

2. Fortgeschritten: Paginierung und dynamische URLs verarbeiten

In der Praxis sind viele Webseiten in mehrere Seiten unterteilt – etwa Suchergebnisse oder Produktkataloge. Um solche Daten ohne manuelle Eingriffe zu crawlen, erstellen Sie eine benutzerdefinierte Funktion im Power Query-Editor:

1. Öffnen Sie den Erweiterten Editor und erstellen Sie eine neue Abfrage mit dem Namen FxScrapePage.
2. Fügen Sie den folgenden M-Code ein, der die Seitenzahl dynamisch einbindet:

(pageNumber as number) as table =>
let
  // URL mit dynamischer Seitenzahl parametrisieren
  TargetURL = " & Number.ToText(pageNumber),
  Source = Web.BrowserContents(TargetURL),
  // Daten mit CSS-Selektoren extrahieren
  ParsedData = Html.Table(
    Source,
    {
      {"Titel", ".artikel-titel"},
      {"MetaBeschreibung", ".meta-beschreibung"},
      {"Veröffentlichungsdatum", ".datum-stempel"}
    },
    [RowStyle = RowStyle.All]
  )
in
  ParsedData

Nach der Erstellung der Funktion können Sie eine Liste mit Zielseiten (z. B. 1 bis 50) generieren und diese in eine Tabelle umwandeln. Power Query führt die Funktion dann iterativ aus, konsolidiert die Ergebnisse und liefert ein vollständiges Datenset.

3. Daten bereinigen und für die Analyse vorbereiten

Rohdaten aus dem Web sind selten sofort nutzbar. Power Query glänzt besonders in der Transformationsphase:

• Textnormalisierung: Gemischte Groß-/Kleinschreibung in einheitliche Kleinbuchstaben umwandeln.
• Ausnahmen filtern: Leere Einträge, Platzhalter oder Tracking-Strings entfernen.
• Datentypen konvertieren: Textfelder wie Datumsangaben oder Zahlen in ISO-konforme Formate überführen.

Diese Schritte lassen sich bequem über die Benutzeroberfläche des Power Query-Editors durchführen.

Fazit: Effizienzsteigerung durch automatisierte Datenpipelines

Mit Power Query können Sie den gesamten Prozess von der Datenextraktion bis zur Business-Intelligence nahtlos automatisieren. Durch einfache Hintergrundaktualisierungen erhalten Sie stets aktuelle, bereinigte Daten für Ihre SEO-Tools, Wettbewerbsanalysen oder Dashboards – ohne manuellen Aufwand oder externe Skripte.

Die Integration in die Microsoft-Ökosysteme macht die Lösung besonders attraktiv für Unternehmen, die bereits mit Excel oder Power BI arbeiten. So sparen Sie nicht nur Zeit, sondern reduzieren auch Fehlerquellen und Abhängigkeiten von Entwicklerteams.