Was ist Web Scraping und wie funktioniert ein Scraper?

Web Scraping: Was genau steckt dahinter?

Wer nach „was ist web scraping“ sucht, meint meist eine einfache Frage: Wie werden Inhalte einer Website zu einer nutzbaren Datentabelle? Statt Produktseiten, Inserate oder Stellenanzeigen einzeln im Browser zu öffnen und abzutippen, liest ein Programm vorher festgelegte Datenfelder automatisiert aus. Das können etwa Produktname, Preis, Verfügbarkeit, Kategorie, Standort, Veröffentlichungsdatum oder URL sein.

Scraping deutsch erklärt: Ein Scraper ist kein allgemeiner Suchroboter, der wahllos das Internet kopiert. Er wird für eine konkrete Quelle und einen konkreten Zweck eingerichtet. Ein Preisvergleich benötigt andere Felder als eine Marktanalyse für Immobilienangebote oder ein Recruiting-Dashboard für Stellenanzeigen. Je klarer die Datenstruktur und die Auswahlregeln vor Projektbeginn beschrieben sind, desto belastbarer wird das Ergebnis.

Beispiel: Preise und Sortimente vergleichen

Ein Händler möchte montags bis freitags prüfen, wie sich 800 vergleichbare Produkte bei Wettbewerbern entwickeln. Der Scraper ruft die definierten öffentlichen Produktseiten ab, extrahiert Artikelbezeichnung, Preis, Lieferstatus und Produkt-URL. Danach ordnet eine Regel die Produkte über EAN, Herstellerartikelnummer oder eine gepflegte Zuordnungstabelle ein. Das Ergebnis ist nicht nur eine Liste aktueller Preise, sondern eine Zeitreihe: Wann wurde ein Preis geändert, welche Produkte sind nicht lieferbar und wo fehlen Vergleichsprodukte?

Für diesen Anwendungsfall lohnt sich ein Blick auf Preisüberwachung im Wettbewerb. Entscheidend ist dabei weniger die Menge der Datensätze als die Datenqualität: Falsche Produktzuordnungen, Variantenpreise oder unberücksichtigte Versandkosten können zu falschen Entscheidungen führen.

So funktioniert Web Scraping Schritt für Schritt

Technisch kann die Umsetzung je nach Website unterschiedlich aussehen. Das Grundprinzip bleibt jedoch gleich: Eine Quelle wird nach wiederholbaren Regeln aufgerufen, relevante Informationen werden ausgelesen, geprüft und in ein Zielsystem geschrieben. Moderne Websites laden Teile ihrer Inhalte erst im Browser nach; andere stellen Listen über Seiten, Filter oder Suchmasken bereit. Deshalb wird ein Scraper immer auf die konkrete Seitenstruktur zugeschnitten.

1. Datenziel definieren: Welche Website, welche Bereiche, welcher Zeitraum und welche Felder werden wirklich benötigt? Ein sinnvoller Auftrag lautet beispielsweise: „Alle öffentlichen Angebote in Kategorie X mit Titel, Preis, Ort, Fläche, Datum und URL.“
2. Quelle und Zugänglichkeit prüfen: Sind die benötigten Informationen öffentlich sichtbar? Welche Vorgaben enthalten AGB, Datenschutzhinweise und robots.txt? Sind Inhalte ohne Anmeldung erreichbar?
3. Datenmodell festlegen: Jedes Feld erhält einen Namen, einen Datentyp und ein Beispiel. Bei Preisen gehören etwa Währung, Versand, Aktionspreis und Abrufzeitpunkt in das Modell.
4. Extraktionslogik erstellen: Der Scraper erkennt Listen, Detailseiten, Seitennummerierungen und die gewünschten Elemente. Er speichert nicht einfach den gesamten HTML-Code, sondern die vereinbarten Werte.
5. Daten bereinigen und validieren: Leere Felder, Dubletten, uneinheitliche Schreibweisen und offensichtlich fehlerhafte Werte werden markiert oder nach Regeln behandelt.
6. Ausgabe und Aktualisierung einrichten: Ein einmaliger Export wird geliefert oder ein regelmäßiger Lauf aktualisiert Datei, Tabelle, API, Datenbank oder CRM.
7. Änderungen überwachen: Wenn eine Website ihre Struktur verändert, kann ein Feld fehlen oder falsch ausgelesen werden. Deshalb gehören Kontrollwerte, Fehlerprotokolle und Wartung in wiederkehrende Projekte.

Bei umfangreichen Quellen ist die Prüfung vor dem Start besonders wertvoll. Kodrana bietet für öffentlich verfügbare Daten eine kostenlose Probe mit 50 bis 100 Datensätzen an, nachdem Website und gewünschte Felder geprüft wurden. Das zeigt früh, ob die Struktur, Datenqualität und Ausgabe zum geplanten Einsatz passen.

Warum Datenbereinigung kein Nebenschritt ist

Ein Export ist erst dann geschäftlich nutzbar, wenn die Daten vergleichbar sind. „CHF 1’250“, „1.250 CHF“ und „1250.–“ müssen beispielsweise als Preiswerte erkannt werden; Ortsangaben benötigen oft eine einheitliche Schreibweise. Bei Katalogen sind Varianten, ausverkaufte Artikel und wiederkehrende Angebote typische Sonderfälle. Gute Scraping-Projekte definieren solche Regeln vorab, statt sie nachträglich in einer unübersichtlichen Excel-Datei zu reparieren.

Welche Daten sammeln Unternehmen mit einem Scraper?

Die sinnvollsten Datenprojekte starten nicht mit der Frage „Was kann man alles auslesen?“, sondern mit einer operativen Entscheidung. Soll der Einkauf schneller reagieren, das Vertriebsteam neue Märkte bewerten oder das Marketing Themenlücken erkennen? Öffentlich zugängliche Daten können solche Entscheidungen fundieren, sofern Quelle, Aktualität und rechtlicher Rahmen passen.

• Preis- und Sortimentsdaten: Produktpreise, Verfügbarkeiten, Kategorien, Marken, Rabatte und Lieferhinweise aus öffentlichen Shops oder Marktplätzen. Solche Daten eignen sich für Preisbeobachtung, Katalogpflege und Sortimentsanalysen.
• Markt- und Angebotsdaten: Inseratspreise, Lage, Merkmale, Veröffentlichungsdatum und Angebotsstatus bei Immobilien, Fahrzeugen oder Reisen. Für Fahrzeuganalysen sind etwa öffentliche Angebote auf mobile.de ein denkbarer Ausgangspunkt.
• Stellenmarktdaten: Berufsbezeichnung, Ort, Beschäftigungsart, Anforderungen, Arbeitgeber und Veröffentlichungsdatum. Damit lassen sich Nachfrage, Skills und regionale Entwicklungen beobachten.
• Unternehmensdaten: Öffentliche Firmenprofile, Branchen, Websites, Leistungsbeschreibungen und Standorte aus Verzeichnissen wie Branchenverzeichnissen. Kontaktdaten natürlicher Personen sollten nicht ohne klare Rechtsgrundlage gesammelt oder verarbeitet werden.
• Bewertungen und öffentliche Erwähnungen: Bewertungsschnitt, Anzahl der Bewertungen, wiederkehrende Themen und öffentliche Kommentare. Für Sentiment-Auswertungen müssen Zweck, Speicherfristen und personenbezogene Inhalte besonders sorgfältig geprüft werden.
• SEO- und Medienbeobachtung: Sichtbare Suchergebnisse, Überschriften, Veröffentlichungszeitpunkte, Themen und öffentliche Inhalte. Das unterstützt Content-Planung und Wettbewerbsbeobachtung, ersetzt aber keine fachliche Bewertung.

Ein häufiger Fehler ist, ohne eindeutige Fragestellung zu viele Felder zu sammeln. Das erhöht Kosten, Fehleranfälligkeit und Datenschutzrisiken. Besser ist ein Minimaldatensatz, der eine konkrete Auswertung ermöglicht. Weitere Felder können ergänzt werden, wenn der erste Durchlauf einen nachweisbaren Nutzen zeigt.

CSV, Excel, JSON oder API: Das richtige Ausgabeformat

Das passende Format hängt davon ab, wer die Daten verwendet und wie oft sie aktualisiert werden. Für eine einmalige Analyse genügen häufig CSV oder Excel. Wenn Daten fortlaufend in Prozesse fließen, sind JSON, API, Webhook oder eine direkte Übergabe an CRM beziehungsweise Datenbank robuster. Kodrana kann Daten als CSV, Excel, JSON, Google Sheets, API oder Webhook liefern sowie direkt in ein CRM oder eine Datenbank übertragen.

• CSV: Schlankes Tabellenformat für große Mengen strukturierter Daten. Es passt gut zu Excel, BI-Tools und Datenbanken, benötigt aber klare Regeln für Trennzeichen, Zeichencodierung und Datumsformate.
• Excel: Praktisch für Fachabteilungen, die filtern, kommentieren und Stichproben prüfen wollen. Für täglich wachsende Datenbestände ist Excel allein meist nicht die beste Betriebsgrundlage.
• Google Sheets: Sinnvoll für Teams, die gemeinsam auf einen überschaubaren, regelmäßig aktualisierten Datenbestand zugreifen möchten.
• JSON: Geeignet für Software, Automatisierungen und verschachtelte Daten, etwa wenn ein Angebot mehrere Bilder, Eigenschaften oder Preisarten enthält.
• API oder Webhook: Passend, wenn ein anderes System neue oder geänderte Datensätze automatisiert übernehmen soll. Das reduziert manuelle Importe und ermöglicht definierte Prozessketten.

Zusätzlich zum Format sollten Unternehmen Pflichtfelder, eindeutige IDs, Zeitstempel und Löschregeln vereinbaren. Ein Preis ohne Abrufzeitpunkt hat bei täglichen Änderungen wenig Aussagekraft. Eine URL ohne stabile ID erschwert das Erkennen von Änderungen. Wenn Daten später in ein CRM, ERP oder Dashboard fließen sollen, lohnt sich eine frühzeitige Abstimmung mit IT und Fachbereich. Solche Übergaben lassen sich auch als Automatisierung von Datenprozessen planen.

Fertiges Tool, eigener Scraper oder Dienstleistung?

Die Wahl der Lösung richtet sich nach Häufigkeit, Datenmenge, Quellenvielfalt, Integrationen und internem Know-how. Ein Browser-Tool kann für einen einmaligen kleinen Test genügen. Bei geschäftskritischen Daten kommen jedoch Wartung, Qualitätskontrolle und rechtliche Prüfung hinzu. Dann ist ein belastbarer Prozess wichtiger als ein schneller Einmalexport.

Wann welche Option passt

• Fertiges Tool: Geeignet, wenn die Website einfach aufgebaut ist, die Datenmenge klein bleibt und Mitarbeitende die Einrichtung sowie Fehlerbehebung selbst übernehmen können. Nachteile sind begrenzte Anpassbarkeit und Abhängigkeit von der jeweiligen Website-Struktur.
• Eigener Custom Scraper: Sinnvoll bei individuellen Datenmodellen, mehreren Quellen, festen Integrationen oder regelmäßigen großen Datenmengen. Das Unternehmen benötigt dafür technische Verantwortung, Monitoring und Wartung.
• Scraping-Service: Praktisch, wenn ein Team Ergebnisse statt Infrastruktur braucht. Der Dienstleister klärt Felder, testet die Quelle, liefert Daten und übernimmt je nach Vereinbarung die Anpassung bei Änderungen.
• Kombination: Häufig der pragmatischste Weg. Ein externer Scraper liefert geprüfte Rohdaten, während interne Systeme Auswertung, Freigaben und Geschäftsregeln übernehmen.

Kodrana führt einen Katalog mit mehr als 5.400 fertigen Website-Scrapern, darunter Marktplatz-Scraper, Immobilien-, Job-, Reise- und Bewertungsquellen. Ist eine Quelle noch nicht vorhanden, kann ein Scraper für eine neue Website laut Angebot in zwei bis fünf Werktagen erstellt werden. Für die Abwägung zwischen Standardwerkzeug, Individualentwicklung und Service hilft auch der Vergleich Tools und Custom Scraper.

Rechtliche und technische Grenzen beim Scraping

Öffentlich sichtbar bedeutet nicht automatisch, dass jede Nutzung ohne Prüfung zulässig ist. In Deutschland können insbesondere Datenschutzrecht, Urheberrecht, das Datenbankherstellerrecht nach §§ 87a ff. UrhG, die AGB einer Website und bei geschützten Zugängen § 202a StGB relevant sein. Die konkrete Bewertung hängt stark von Quelle, Umfang, Abrufart, Verwendungszweck und den betroffenen Daten ab. Für einen spezifischen Anwendungsfall sollte ein auf IT- und Datenrecht spezialisierter Anwalt prüfen, ob die geplante Erhebung und Nutzung zulässig ist.

Klare rote Linien sind unerlässlich: keine Logins anderer Personen verwenden, keine Zugangsbeschränkungen oder Paywalls umgehen und keine personenbezogenen Daten ohne tragfähige Rechtsgrundlage sammeln. Auch bei öffentlich auffindbaren Angaben zu Personen gelten DSGVO-Pflichten. Unternehmen brauchen einen dokumentierten Zweck, Datenminimierung, begrenzte Speicherfristen, Zugriffskontrollen und gegebenenfalls eine Datenschutz-Folgenabschätzung. Kodrana gibt an, ausschließlich öffentlich verfügbare Daten zu erfassen, sich nicht in fremde Accounts einzuloggen, keine personenbezogenen Daten zu sammeln und Websites nur schonend zu belasten.

Technisch setzen Websites Schutzmechanismen ein, um Missbrauch, Überlastung oder unerwünschte automatisierte Zugriffe zu begrenzen. Das ist kein Signal, Schutzmaßnahmen zu umgehen. Vielmehr kann es bedeuten, dass eine Quelle nicht geeignet ist, eine offizielle Schnittstelle vorzuziehen ist oder das Projekt rechtlich und technisch neu bewertet werden muss. Mehr zur rechtlichen Einordnung erläutert die Rechtslage beim Web Scraping.

Projektbriefing: So vermeiden Sie unbrauchbare Datenexports

Ein gutes Briefing beschleunigt die Einschätzung erheblich und reduziert spätere Nacharbeiten. Es genügt nicht, nur einen Link zu senden. Beschreiben Sie, welche geschäftliche Entscheidung mit den Daten unterstützt werden soll und wie das Ergebnis weiterverwendet wird. So lässt sich entscheiden, ob ein einmaliger Export, ein tägliches Monitoring oder eine Systemintegration angemessen ist.

1. Nennen Sie die genaue Website, Bereiche, Kategorien oder Suchergebnisseiten und fügen Sie Beispiel-URLs hinzu.
2. Listen Sie alle gewünschten Felder auf. Geben Sie für jedes Feld ein Beispiel an, etwa „Preis als Zahl ohne Währungssymbol“ oder „Ort inklusive Postleitzahl“.
3. Definieren Sie Auswahlregeln: Region, Sprache, Kategorien, Mindest- oder Höchstwerte, Zeitraum und Ausschlüsse.
4. Legen Sie Umfang und Aktualisierung fest: einmalig, wöchentlich oder täglich; außerdem die erwartete Datensatzmenge und den gewünschten Starttermin.
5. Beschreiben Sie das Zielsystem: Excel für eine Analyse, Google Sheets für ein Team, JSON für eine Anwendung oder Übergabe per API in ein internes System.
6. Vereinbaren Sie Qualitätsregeln: Wie werden Dubletten erkannt? Welche Felder sind Pflicht? Wie sollen fehlende Werte, gelöschte Angebote und Preisänderungen behandelt werden?

Wer den Aufwand besser einordnen möchte, kann sich an typischen Faktoren wie Quellanzahl, Schutz, Datenvolumen, Aktualisierung und Integrationen orientieren. Ein konkretes Briefing ist wertvoller als eine pauschale Kostenschätzung, weil schon kleine Unterschiede in Datenmodell und Quelle die Umsetzung verändern können.

Nächster sinnvoller Schritt

Wenn Sie prüfen möchten, ob eine Quelle für Ihr Vorhaben geeignet ist, können Sie Kodrana die Website und die benötigten Datenfelder senden. Das Team prüft die Schutzsituation und kann vor einer Beauftragung kostenlos eine Stichprobe von 50 bis 100 Datensätzen liefern. Auf dieser Basis lässt sich entscheiden, ob ein einmaliger Export, ein regelmäßiges Monitoring oder eine weitergehende Integration sinnvoll ist; ein Angebot erhalten Sie auf Anfrage.