Web Scraping rechtliche Lage: Was erlaubt ist und worauf Sie achten müssen

Öffentliche vs. nicht-öffentliche Daten: Der erste Unterschied

Grundsätzlich gilt: Das Sammeln öffentlich zugänglicher Daten durch Web Scraping ist in Deutschland nicht verboten. Öffentlich zugänglich bedeutet, dass die Daten ohne Login, Registrierung oder Bezahlung im Browser sichtbar sind. Produktbeschreibungen, Preise, Öffnungszeiten, Unternehmenskontakte oder Immobilienangebote auf frei zugänglichen Websites fallen in diese Kategorie.

Anders sieht es bei geschützten Bereichen aus. Das Umgehen von Login-Systemen, Paywalls oder technischen Zugangsbeschränkungen kann gegen § 202a StGB (Ausspähen von Daten) verstoßen. Wer fremde Zugangsdaten nutzt oder Schutzmechanismen überwindet, begibt sich in einen rechtlich problematischen Bereich. Für solche Vorhaben sollten Sie unbedingt rechtlichen Rat einholen.

Ein weiterer Punkt: Auch wenn Daten öffentlich sind, können andere Gesetze ihre Nutzung einschränken. Die DSGVO regelt den Umgang mit personenbezogenen Daten, das Urheberrecht schützt kreative Inhalte und §§ 87a ff. UrhG gewähren Datenbankherstellern Schutzrechte. Diese Regelungen greifen unabhängig davon, ob die Daten frei einsehbar sind.

DSGVO und personenbezogene Daten beim Scraping

Die Datenschutz-Grundverordnung gilt für alle personenbezogenen Daten – also Informationen, die sich auf identifizierte oder identifizierbare natürliche Personen beziehen. Namen, E-Mail-Adressen, Telefonnummern oder auch Kombinationen aus Ort und Beruf können darunter fallen. Beim Sammeln von Immobiliendaten oder Stellenanzeigen kommen Sie zwangsläufig mit solchen Daten in Kontakt.

Wann Scraping personenbezogener Daten zulässig ist

Die DSGVO verlangt eine Rechtsgrundlage für die Verarbeitung. Bei öffentlich gemachten Kontaktdaten von Gewerbetreibenden oder Freiberuflern kann ein berechtigtes Interesse (Art. 6 Abs. 1 lit. f DSGVO) vorliegen, etwa für Marktanalysen oder B2B-Kontaktaufnahme. Wichtig: Die Daten dürfen nur für den ursprünglich angegebenen Zweck verarbeitet werden, und die betroffenen Personen haben Auskunfts- und Löschrechte.

Schwieriger wird es bei Daten von Privatpersonen. Auch wenn jemand seine Telefonnummer auf einer Kleinanzeigenplattform veröffentlicht, bedeutet das nicht, dass diese Nummer in eine Marketing-Datenbank aufgenommen werden darf. Für die meisten kommerziellen Nutzungen fehlt dann die Rechtsgrundlage. Wer unsicher ist, sollte einen auf Datenschutz spezialisierten Anwalt konsultieren.

Bei Kodrana sammeln wir grundsätzlich nur öffentlich verfügbare Daten und verzichten auf das Scraping personenbezogener Informationen, wenn keine eindeutige Rechtsgrundlage besteht. Für Preisüberwachung, Produktkataloge oder Marktanalysen ist das meist unproblematisch, da diese Daten unpersonalisiert sind.

Allgemeine Geschäftsbedingungen und ihre Bedeutung

Viele Websites untersagen in ihren AGB das automatisierte Auslesen von Daten. Die rechtliche Verbindlichkeit solcher Klauseln ist umstritten. Ein bloßer Besuch einer Website begründet in der Regel kein Vertragsverhältnis, das AGB einschließt. Anders kann es aussehen, wenn Sie einen Account erstellen oder einen Dienst aktiv nutzen – dann werden die AGB Teil des Vertrags.

Ein Verstoß gegen AGB ist zunächst eine zivilrechtliche Angelegenheit. Der Websitebetreiber kann Unterlassung fordern oder theoretisch Schadensersatz geltend machen. In der Praxis führt ein AGB-Verstoß allein selten zu Gerichtsverfahren, solange keine weiteren Rechtsverletzungen vorliegen. Dennoch sollten Sie die Nutzungsbedingungen kennen, besonders bei großen Plattformen mit aktiver Rechtsabteilung.

Manche Websites bieten offizielle APIs als Alternative zum Scraping an. Diese sind rechtlich der sicherste Weg, Daten zu beziehen. Allerdings sind APIs oft kostenpflichtig, liefern weniger Datenfelder oder aktualisieren langsamer als die Website selbst. Einen detaillierten Vergleich finden Sie in unserem Artikel API vs. Web Scraping.

Urheberrecht und Datenbankschutz: Was Sie kopieren dürfen

Urheberrechtlich geschützte Inhalte

Das Urheberrecht schützt persönliche geistige Schöpfungen: Texte, Fotos, Grafiken, Videos. Produktbeschreibungen, die eine individuelle Formulierung aufweisen, können urheberrechtlich geschützt sein. Reine Fakten (Preis, technische Daten, Öffnungszeiten) sind nicht geschützt, wohl aber deren kreative Darstellung. Wer Texte oder Bilder eins zu eins übernimmt und ohne Erlaubnis auf der eigenen Website veröffentlicht, riskiert Abmahnungen.

Für Marktanalysen, interne Auswertungen oder Trainingssets für KI-Modelle spielt das Urheberrecht meist eine geringere Rolle, weil die Daten nicht öffentlich reproduziert werden. Sobald Sie Inhalte aber nach außen zeigen – etwa auf einer Vergleichsplattform –, müssen Sie prüfen, ob Sie eine eigene Darstellung schaffen oder die Quelle kenntlich machen.

Sui-generis-Datenbankrecht nach §§ 87a ff. UrhG

Das deutsche und europäische Recht schützen Datenbanken, in die der Hersteller eine wesentliche Investition getätigt hat. Dieser Schutz gilt unabhängig davon, ob die einzelnen Daten kreativ sind. Der Datenbankschutz verbietet die Entnahme und Weiterverwertung wesentlicher Teile der Datenbank. Was "wesentlich" bedeutet, ist Einzelfallsache. Das vollständige Kopieren eines Marktplatz-Katalogs oder eines Immobilienportals könnte darunter fallen.

In der Praxis führt Datenbankschutz seltener zu Klagen als Urheberrechtsverletzungen, weil der Nachweis der wesentlichen Investition aufwendig ist. Dennoch sollten Sie bei großen kommerziellen Projekten dieses Risiko im Blick behalten. Für kleine Datenmengen oder stark transformierte Auswertungen ist das Risiko gering.

Technische Last und Serverstabilität

Ein oft übersehener Aspekt: Zu aggressive Scraper können Websites verlangsamen oder sogar ausfallen lassen. Das ist nicht nur unhöflich, sondern kann rechtliche Konsequenzen haben. Wer durch massenhaftes Abrufen einen Dienst beeinträchtigt, könnte gegen § 303b StGB (Computersabotage) verstoßen. Auch zivilrechtliche Ansprüche wegen Störung des Geschäftsbetriebs sind denkbar.

Ein verantwortungsvoller Scraper respektiert die robots.txt-Datei, hält Pausen zwischen Anfragen ein und vermeidet Lastspitzen. Bei Kodrana setzen wir standardmäßig auf schonende Zugriffe: Wir verteilen Anfragen über die Zeit, nutzen Caching und passen die Geschwindigkeit an die Kapazität der Zielseite an. Das schützt sowohl den Websitebetreiber als auch die Langlebigkeit Ihres Datenprojekts.

Die robots.txt ist rechtlich nicht bindend, wird aber als technische Äußerung des Websitebetreibers interpretiert. Wer sie ignoriert, signalisiert, dass ihm die Interessen des Betreibers gleichgültig sind – ein Punkt, der in Rechtsstreitigkeiten gegen Sie ausgelegt werden kann. Mehr zu technischen Schutzmaßnahmen finden Sie in unserem Artikel über Anti-Bot-Systeme.

Ist Web Scraping legal? Checkliste für konforme Projekte

Die rechtliche Lage beim Web Scraping ist komplex und hängt von vielen Faktoren ab. Diese Checkliste hilft Ihnen, die häufigsten Fallstricke zu vermeiden. Sie ersetzt keine Rechtsberatung, zeigt aber, worauf Sie achten sollten.

1. Öffentlich zugänglich: Sammeln Sie nur Daten, die ohne Login, Registrierung oder Bezahlung im Browser sichtbar sind. Umgehen Sie keine technischen Schutzmaßnahmen.
2. Personenbezug prüfen: Vermeiden Sie das Scraping personenbezogener Daten von Privatpersonen, wenn keine klare Rechtsgrundlage besteht. Bei B2B-Kontakten kann ein berechtigtes Interesse vorliegen, aber prüfen Sie den konkreten Zweck.
3. AGB kennen: Lesen Sie die Nutzungsbedingungen der Zielwebsite. Auch wenn ein Verstoß nicht automatisch illegal ist, zeigt er Ihre Haltung und kann in Rechtsstreitigkeiten relevant werden.
4. Keine Inhalte kopieren: Übernehmen Sie keine urheberrechtlich geschützten Texte, Bilder oder andere kreative Werke für Ihre eigene Website. Für interne Analysen ist das Risiko geringer, aber öffentliche Reproduktion ist problematisch.
5. Datenbankumfang beachten: Extrahieren Sie nicht den gesamten Datenbestand einer Website. Bei großen Projekten sollten Sie prüfen, ob Datenbankschutz greift, oder auf eine Untermenge beschränken.
6. Server schonen: Halten Sie Pausen zwischen Anfragen ein, respektieren Sie robots.txt und vermeiden Sie Lastspitzen. Ein Scraper, der Dienste beeinträchtigt, ist nicht nur unethisch, sondern auch rechtlich riskant.
7. Datennutzung dokumentieren: Halten Sie fest, woher Ihre Daten stammen und wofür Sie sie verwenden. Das erleichtert später den Nachweis, dass Sie rechtmäßig gehandelt haben.
8. Bei Unklarheit: Anwalt fragen: Wenn Ihr Projekt sensible Daten, große Datenmengen oder kommerzielle Weiterverwendung betrifft, holen Sie rechtlichen Rat ein. Die Investition in eine Erstberatung ist günstiger als eine Abmahnung.

Praxisbeispiele: Was in der Regel unkritisch ist

Nicht jedes Scraping-Projekt bewegt sich in einer rechtlichen Grauzone. Viele Anwendungsfälle sind relativ unkritisch, wenn Sie die genannten Grundsätze beachten. Hier einige Beispiele aus der Praxis:

• Preisvergleich und Wettbewerbsanalyse: Das Sammeln von Produktpreisen, Verfügbarkeiten und technischen Daten von E-Commerce-Websites ist weit verbreitet. Solange Sie keine Texte oder Bilder kopieren und die Daten nur für interne Analysen oder einen eigenen Preisvergleich nutzen, ist das Risiko gering.
• Immobilienmarkt-Übersichten: Öffentliche Angebotsdetails wie Quadratmeter, Preis und Lage von ImmobilienScout24 oder Immowelt können für Marktanalysen gesammelt werden. Vermeiden Sie dabei Maklerfotos und umfangreiche Beschreibungstexte.
• Stellenmarkt-Monitoring: Jobtitel, Anforderungen und Standorte von Jobbörsen sind Faktendaten. Unternehmen nutzen solche Daten, um Gehaltsstrukturen zu analysieren oder Recruiting-Strategien zu entwickeln.
• Öffentliche Branchenverzeichnisse: Firmennamen, Adressen und Kontaktdaten aus Gelbe Seiten oder local.ch sind für B2B-Akquise oder Marktforschung nutzbar, sofern die Daten von den Unternehmen selbst veröffentlicht wurden.
• Bewertungsportale: Sternebewertungen, Anzahl der Rezensionen und aggregierte Statistiken von Bewertungsplattformen sind in der Regel unkritisch. Bei vollständigen Rezensionstexten sollten Sie vorsichtiger sein, da diese urheberrechtlich geschützt sein können.

In unserem Katalog mit über 5.400 fertigen Scrapern finden Sie Lösungen für diese und viele weitere Anwendungsfälle. Wir sammeln ausschließlich öffentlich verfügbare Daten und konfigurieren jeden Scraper so, dass er die technischen und rechtlichen Anforderungen erfüllt.

Was Sie bei internationalen Projekten beachten sollten

Wenn Sie Daten von Websites außerhalb Deutschlands, Österreichs oder der Schweiz sammeln, wird die Rechtslage noch komplexer. Die DSGVO gilt zwar EU-weit, aber nationale Gesetze unterscheiden sich in Details. In den USA gibt es kein einheitliches Datenschutzgesetz, dafür aber strenge Regelungen zu Computer-Missbrauch (Computer Fraud and Abuse Act).

Praktisch bedeutet das: Wenn Ihre Zielwebsite im Ausland gehostet ist, gelten zunächst die Gesetze des Landes, in dem der Betreiber sitzt. Gleichzeitig müssen Sie als deutsches Unternehmen die DSGVO einhalten, wenn Sie die Daten in der EU verarbeiten. Diese Überlagerung verschiedener Rechtsordnungen macht internationale Projekte anspruchsvoller.

Unser Ansatz: Wir orientieren uns immer am strengeren Standard. Wenn die DSGVO strengere Anforderungen stellt als das Recht am Standort der Zielwebsite, halten wir die DSGVO ein. So stellen wir sicher, dass Ihre Projekte auch bei grenzüberschreitenden Datenflüssen rechtskonform bleiben.

Wie Kodrana Sie bei konformen Scraping-Projekten unterstützt

Wir entwickeln seit Jahren Web-Scraping-Lösungen und kennen die rechtlichen und technischen Herausforderungen. Bei jedem Projekt prüfen wir vorab, ob die Datenquelle öffentlich zugänglich ist und ob technische oder rechtliche Hürden bestehen. Wir sammeln nur öffentlich verfügbare Daten, nutzen keine fremden Accounts und halten die Last auf den Servern gering. Wenn Sie unsicher sind, ob ein bestimmter Datensatz für Ihr Vorhaben geeignet ist, können Sie uns eine Anfrage schicken: Wir prüfen die Website, klären die technische Machbarkeit und liefern Ihnen eine kostenlose Probe mit 50 bis 100 Datensätzen. So sehen Sie vor der Bezahlung, ob die Daten Ihren Anforderungen entsprechen und ob das Projekt rechtlich vertretbar ist. Details zu Preisen und Ablauf finden Sie auf unserer Über-uns-Seite oder direkt im Scraper-Katalog.