Was Web Scraping kostet und wie Sie ein Datenprojekt richtig briefen

Die wichtigsten Faktoren für Web Scraping Kosten

Der Preis eines Scraping-Projekts hängt nicht allein von der Datenmenge ab. Technische Anforderungen und der geplante Einsatz bestimmen, wie viel Entwicklung, Prüfung und laufende Betreuung nötig sind.

Schutz der Zielwebsite

Websites unterscheiden sich darin, wie sie automatisierte Zugriffe begrenzen oder erkennen. Schutzmechanismen können zusätzliche technische Prüfung und Entwicklungsarbeit erfordern. Das ist ein Grund, weshalb der Scraping-Preis je nach Website variiert. Seriöse Projekte berücksichtigen die Grenzen der Website, halten die Zugriffslast gering und setzen nicht auf das Umgehen technischer Schutzmaßnahmen. Mehr dazu erklärt der Beitrag über Anti-Bot-Schutz und Scraping.

Datenvolumen und Anzahl der Felder

Ein Export mit wenigen klar definierten Feldern ist meist einfacher zu prüfen als ein großer Datensatz mit vielen unterschiedlichen Angaben. Für jedes Feld muss geklärt werden, wo es auf der Seite erscheint, wie es strukturiert ist und was bei fehlenden oder wechselnden Angaben passieren soll. Nennen Sie neben der erwarteten Datensatzanzahl daher auch die gewünschten Felder und Beispiele für Sonderfälle. Bei Kodrana kostet ein einmaliger Export von bis zu 10.000 Datensätzen je nach Seitenschutz ab 229 €, 359 € oder 629 €.

Aktualisierungsfrequenz und Wartung

Ein einmaliger Export eignet sich, wenn Sie Daten für eine punktuelle Analyse oder ein bestimmtes Projekt benötigen. Für laufende Anwendungen, etwa Preisüberwachung von Wettbewerbern, kommen regelmäßige Abrufe und Wartung hinzu. Bei Kodrana beginnen wöchentliche Updates bei 129 € pro Monat, tägliche bei 269 € pro Monat; jeweils fällt zusätzlich ein einmaliges Setup an. Das Abonnement umfasst Datenspeicherung, Support und Fehlerbehebungen innerhalb von 48 Stunden, wenn sich die Website ändert.

Zugang, Ausgabeformat und Integration

Ein Login-Bereich verändert die technische und rechtliche Prüfung. Kodrana sammelt öffentlich verfügbare Daten und loggt sich niemals in fremde Konten ein. Klären Sie im Briefing, ob alle benötigten Inhalte öffentlich erreichbar sind. Beschreiben Sie außerdem, ob CSV oder Excel genügt oder ob Sie JSON, Google Sheets, eine API, einen Webhook oder eine direkte Übergabe an CRM beziehungsweise Datenbank benötigen. Je stärker die Daten in bestehende Abläufe eingebunden werden sollen, desto genauer sollte das gewünschte Zielsystem beschrieben sein.

Einmalexport oder Abonnement: Welcher Scraping-Preis passt?

Bei einem Einmalexport zahlen Sie für eine abgegrenzte Lieferung. Das passt etwa zu einer Marktanalyse, einer einmaligen Bestandsaufnahme oder einem Datensatz für ein konkretes Vorhaben. Achten Sie darauf, den Umfang festzuhalten: Quellen, Felder, erwartete Datenmenge und Lieferformat. Für bestehende Quellen können Sie im Scraper-Katalog prüfen, ob bereits ein passender Scraper verfügbar ist.

Ein Abonnement ist sinnvoll, wenn Daten regelmäßig aktualisiert werden müssen und Ausfälle Folgen für Ihren Prozess haben. Neben der gewünschten Frequenz sollten Sie festlegen, wie Sie über fehlgeschlagene Läufe informiert werden und wohin die Daten geliefert werden. Ein Preisvergleich sollte Setup, monatliche Gebühr, Wartung und Support getrennt ausweisen. Für laufende Wettbewerbsbeobachtung beschreibt der Artikel Preise von Wettbewerbern erfassen typische Anforderungen.

Vergleichen Sie Angebote nicht nur anhand des Einstiegspreises. Prüfen Sie, ob die Wartung bei Änderungen der Website enthalten ist, wie die Datenqualität geprüft wird und ob die Lieferung in Ihr System passt. Ohne diese Punkte können zwei Angebote mit ähnlicher Grundgebühr sehr unterschiedliche Leistungen umfassen.

Versteckte Kosten beim Selbermachen

Ein eigener Scraper kann passen, wenn Sie die Datenquelle kontrollieren, intern technisches Know-how haben und die Wartung selbst übernehmen möchten. Bei externen Websites entsteht der Aufwand nicht nur beim ersten Bau. Planen Sie auch die folgenden Punkte ein:

• Entwicklungszeit: Datenfelder, Sonderfälle und Ausgabeformat müssen umgesetzt und getestet werden. Ein Prototyp ist noch kein verlässlicher laufender Prozess.
• Wartung: Änderungen an Struktur oder Inhalten der Website können Anpassungen nötig machen. Ohne Überwachung bleibt ein Ausfall möglicherweise unbemerkt.
• Betrieb: Laufende Aufgaben wie Ausführung, Fehlerprotokolle, Datenspeicherung und Wiederholungsversuche müssen organisiert werden.
• Datenqualität: Doppelte Einträge, fehlende Werte und Änderungen an Produkt- oder Inseratsdaten brauchen Regeln und Kontrollen.
• Rechtliche Prüfung: DSGVO, Urheberrecht, Datenbankherstellerrecht (§§ 87a ff. UrhG), AGB der Website und gegebenenfalls § 202a StGB können relevant sein. Für Ihren konkreten Anwendungsfall sollten Sie rechtlichen Rat einholen.

No-Code-Werkzeuge können für einfache, begrenzte Exporte genügen. Prüfen Sie vorab, ob sie das benötigte Ausgabeformat liefern und ob Sie Ausfälle selbst erkennen und beheben können. Wenn Sie Anforderungen an Entwicklung, Datenverarbeitung oder Automatisierung kombinieren, kann ein spezialisierter Web-Scraping-Service den Betrieb übernehmen.

Rechtliche und organisatorische Prüfung vor dem Start

Öffentliche Erreichbarkeit allein beantwortet nicht jede Rechtsfrage. Prüfen Sie, welche Inhalte Sie erheben möchten, welchem Zweck die Verarbeitung dient und welche Bedingungen für die jeweilige Website gelten. Personenbezogene Daten dürfen nicht ohne passende Rechtsgrundlage gesammelt oder weiterverarbeitet werden. Kodrana erhebt keine personenbezogenen Daten und sammelt ausschließlich öffentlich verfügbare Daten.

Auch Inhalte und Datenbanken können rechtlich geschützt sein. AGB, Urheberrecht und Datenbankherstellerrecht (§§ 87a ff. UrhG) gehören deshalb in die Prüfung. In Deutschland ist außerdem § 202a StGB zu beachten. Für Österreich und die Schweiz gelten jeweils eigene rechtliche Rahmenbedingungen. Lassen Sie ein konkretes Vorhaben im Zweifel von einer Rechtsanwältin oder einem Rechtsanwalt prüfen. Ein Anbieter kann technische Machbarkeit beurteilen, ersetzt aber keine Rechtsberatung.

Checkliste für ein belastbares Scraping-Briefing

Je präziser die Anfrage, desto besser kann ein Anbieter Aufwand, Preis und Machbarkeit einschätzen. Sammeln Sie nach Möglichkeit konkrete Beispielseiten und nennen Sie, was passieren soll, wenn bestimmte Werte fehlen.

1. Zielwebsite: Nennen Sie die Website und beschreiben Sie, welche Bereiche oder Seitentypen relevant sind. Fügen Sie Beispiele ohne Zugangsdaten bei.
2. Datenfelder: Listen Sie jedes benötigte Feld auf, etwa Produktname, Preis, Verfügbarkeit oder Standort. Markieren Sie Pflichtfelder.
3. Umfang: Schätzen Sie die Anzahl der Datensätze oder beschreiben Sie, welche Kategorien und Filter eingeschlossen sind.
4. Frequenz: Geben Sie an, ob Sie einen Einmalexport, wöchentliche oder tägliche Updates benötigen.
5. Zugang und Einschränkungen: Sagen Sie, ob die gewünschten Daten öffentlich erreichbar sind. Beauftragen Sie keine Erhebung über fremde Konten oder Paywalls.
6. Ausgabe: Wählen Sie CSV, Excel, JSON, Google Sheets, API, Webhook oder eine direkte Übergabe in CRM beziehungsweise Datenbank.
7. Qualitätsregeln: Beschreiben Sie, wie Duplikate, fehlende Werte, Varianten und Änderungen behandelt werden sollen.
8. Zeitplan und Budget: Nennen Sie den gewünschten Liefertermin und, falls vorhanden, einen Budgetrahmen.
9. Rechtliche Prüfung: Erklären Sie den Zweck der Nutzung und klären Sie offene Fragen zu AGB, Datenschutz und Rechten vor dem Start.

Bei Kodrana können Sie Website und gewünschte Felder übermitteln. Vor einer Beauftragung prüfen wir den Seitenschutz und senden kostenlos eine Datenprobe mit 50 bis 100 Datensätzen. So lässt sich vorab beurteilen, ob Struktur und Inhalt zu Ihrem Bedarf passen.

Briefing-Vorlage zum Kopieren

Die folgende Vorlage können Sie direkt für eine Anfrage verwenden und an Ihr Projekt anpassen.

Betreff: Anfrage zu Web Scraping und Datenextraktion

Guten Tag, ich benötige Daten aus folgender Quelle:

• Website und relevante Bereiche: [Quelle und Seitentypen]
• Zweck der Datennutzung: [kurze Beschreibung]
• Gewünschte Datenfelder: [Liste der Felder]
• Geschätzter Umfang: [Datensätze, Kategorien oder Filter]
• Aktualisierung: [einmalig, wöchentlich oder täglich]
• Lieferformat und Zielsystem: [CSV, Excel, JSON, Google Sheets, API, Webhook, CRM oder Datenbank]
• Besonderheiten: [Pflichtfelder, Varianten, Umgang mit fehlenden Werten]
• Zugang: [Sind die benötigten Inhalte öffentlich erreichbar?]
• Zeitrahmen und Budget: [Termin und optionaler Budgetrahmen]

Bitte prüfen Sie die technische Machbarkeit und erstellen Sie ein Angebot. Falls möglich, möchte ich vor der Beauftragung eine Datenprobe prüfen.

Vielen Dank und freundliche Grüße, [Name und Unternehmen]

Mit dieser Vorlage kann ein Anbieter Umfang und mögliche Stolperstellen frühzeitig einschätzen. Wenn Sie noch nicht wissen, welche Felder technisch verfügbar sind, markieren Sie Ihre Annahmen ausdrücklich als offen statt sie als zugesicherte Anforderungen zu formulieren.

Preisbeispiele und nächster Schritt

Kodranas Einstiegspreise beziehen sich auf klar umrissene Leistungen. Ein einmaliger Export bis zu 10.000 Datensätzen kostet je nach Schutz der Website ab 229 €, 359 € oder 629 €. Für regelmäßige Aktualisierungen beginnen die Preise bei 129 € pro Monat für wöchentliche und 269 € pro Monat für tägliche Updates, jeweils zuzüglich einmaligem Setup.

Weitere Richtwerte aus dem Angebot: Wettbewerber-Preisüberwachung ab 359 € plus Abonnement, ein Feed für Immobilienanzeigen ab 629 € und ein KI-Trainingsdatensatz ab 1.290 €. Dauer und tatsächlicher Umfang hängen von der Website und den Anforderungen ab. Für Anwendungsfälle rund um Inserate können Sie beispielsweise die Kategorien Immobilienanzeigen oder Stellenanzeigen ansehen.

Wenn Ihr Projekt neben der Extraktion auch eine Weiterverarbeitung benötigt, können passende Studioleistungen wie Automatisierung oder Integration relevant sein. Im Briefing sollten Sie dann zusätzlich beschreiben, wohin die Daten fließen und wer sie anschließend nutzt.

Sie können Kodrana die Website und die gewünschten Felder schicken und vor einer Zahlung eine kostenlose Probe mit 50 bis 100 Datensätzen prüfen. Auf dieser Grundlage lässt sich der passende Umfang besprechen und ein Angebot erstellen. Kontakt ist über Telegram @kodrana oder das Anfrageformular auf der Seite möglich.