UK-Bebauungspläne automatisiert auslesen: Wie 2,6 Mio. Entscheidungen gesammelt wurden

Die Transparenz von britischen Bebauungsplänen ist ein Paradox: Rechtlich sind die Daten öffentlich, praktisch jedoch in über 400 verschiedenen Portalen versteckt, die oft veraltete Technologien nutzen. Ein Entwickler hat sich dieser Aufgabe angenommen und in vier Monaten die Entscheidungen von 241 Kommunalverwaltungen in England, Schottland und Wales automatisiert erfasst – insgesamt 2,6 Millionen Datensätze.

Die technische Hürde: 241 verschiedene Portale, keine einheitliche Struktur

Die meisten britischen Kommunalverwaltungen nutzen eines von wenigen Standard-Portalsystemen, wobei Idox die verbreitetste Lösung ist. Theoretisch sollte dies die Datenerfassung vereinfachen. Doch in der Praxis hat jede Verwaltung ihr System individuell konfiguriert:

• Einige blockieren automatisierte Abfragen durch TLS-Fingerprinting, das nur echte Browser erkennt.
• Andere setzen strenge Rate-Limits ein, die nach nur zehn Anfragen zu temporären Sperren führen.
• Wieder andere betreiben veraltete ASP.NET-Systeme, die seit 2004 unverändert im Einsatz sind.

Um diese Herausforderungen zu bewältigen, entwickelte der Entwickler drei verschiedene Scraping-Ansätze:

• Einen klassischen requests-basierten Scraper für standardkonforme Portale.
• Einen Playwright-basierten Scraper für Systeme, die nur echte Browser-Anfragen zulassen.
• Einen curl_cffi-basierten Scraper, der sich an TLS-Fingerprinting anpasst.

Trotzdem gibt es weiterhin Hürden: Das Portal von Liverpool nutzt AWS WAF mit einer JavaScript-Herausforderung. Ein funktionierender Playwright-Scraper umgeht diese Hürde, doch der AWS-WAF blockiert die IP nach etwa zehn Anfragen für einen ganzen Tag. Aktuell sind 60.000 Entscheidungen aus Liverpool verfügbar, doch eine kontinuierliche Aktualisierung gestaltet sich schwierig.

Erkenntnisse aus den Daten: Genehmigungsquoten und Verzögerungen im Fokus

Die Genehmigungsquote von Bebauungsanträgen liegt in Großbritannien bei etwa 88 %. Doch dieser Wert variiert stark – nicht nur zwischen verschiedenen Kommunalverwaltungen, sondern sogar innerhalb einzelner Stadtteile.

Besonders aufschlussreich sind die Daten zu Bearbeitungszeiten: Bei 119 englischen und walisischen Kommunalverwaltungen wurde 2025 bei 36,5 % der Anträge für Hauserweiterungen die gesetzliche Frist von acht Wochen überschritten. Zum Vergleich: 2019 lag dieser Wert noch bei 27,9 %. Die Stadt Guildford sticht hier besonders hervor: 66 % der Entscheidungen überschritten die Frist, mit einer durchschnittlichen Bearbeitungsdauer von 13,3 Wochen.

Vom Scraping zur Plattform: Wie aus Rohdaten ein nützliches Tool wurde

Die gesammelten Daten bilden die Grundlage für eine Plattform, die zwei Hauptfunktionen bietet:

• Einen kostenlosen Postleitzahlen-Checker, der Nutzern ermöglicht, Bebauungspläne in ihrer Region zu durchsuchen.
• Bezahlte PDF-Berichte für detailliertere Analysen, die zwischen 19 £ und 79 £ kosten.

Bisher gibt es jedoch keine zahlenden Nutzer – ein Zeichen dafür, dass der Fokus bisher auf der Datenqualität und -abdeckung lag. Die Plattform ist unter planninglens.co.uk erreichbar.

Der Entwickler betont, dass die technischen Herausforderungen beim Scraping oft unterschätzt werden. Besonders die Anpassung an individuelle Portal-Konfigurationen und die Umgehung moderner Abwehrmechanismen erforderten kreative Lösungen. Eine zentrale Frage bleibt: Wie können öffentliche Daten effizienter und zugänglicher gemacht werden, ohne die technischen und rechtlichen Grenzen zu ignorieren?

Die Zukunft der Plattform hängt davon ab, ob es gelingt, die Datenbasis weiter auszubauen und gleichzeitig eine nachhaltige Nutzungsstrategie zu entwickeln. Ob sich das Projekt langfristig etablieren kann, bleibt abzuwarten – doch die gesammelten Daten bieten bereits jetzt wertvolle Einblicke in die Effizienz der britischen Bebauungsplanung.