Publieke vs Niet-Publieke Data: Het Fundament van Is Webscraping Legaal
De duidelijkste regel bij webscraping is het onderscheid tussen publieke en niet-publieke data. Informatie die zichtbaar is voor iedereen zonder in te loggen—productlijsten, bedrijvengidsen, vastgoedadvertenties, nieuwsartikelen—is over het algemeen toegestaan. Rechtbanken hebben herhaaldelijk geoordeeld dat toegang tot publiek beschikbare websites geen ongeautoriseerde toegang vormt tot computersystemen.
Niet-publieke data is anders. Als je moet inloggen, een betaalmuur moet omzeilen, of andermans inloggegevens moet gebruiken om bij de informatie te komen, betreed je het gebied van ongeautoriseerde toegang. De hiQ Labs v. LinkedIn zaak draaide om deze kwestie: LinkedIn stelde dat scraping in strijd was met de wet zelfs nadat hiQ was gevraagd te stoppen, maar het hof oordeelde aanvankelijk dat openbare profielen niet beschermd waren. De zaak werd uiteindelijk geschikt, wat enige onduidelijkheid achterliet, maar het principe blijft—het scrapen van publiek zichtbare data is materieel anders dan toegang tot afgeschermde content.
Beperk je voor zakelijk gebruik tot data die elke bezoeker kan zien zonder in te loggen. Als je project accounttoegang vereist, moet je die account bezitten of expliciete toestemming hebben van de accounthouder.
Persoonsgegevens en de AVG
Het verzamelen van persoonsgegevens—namen, e-mailadressen, telefoonnummers, IP-adressen, locatiegegevens—activeert privacywetgeving. In de EU en Nederland vereist de AVG een rechtmatige grondslag voor het verwerken van persoonsgegevens, transparantie over hoe je ze gebruikt, en respect voor de rechten van betrokkenen.
De rechtmatige grondslag is belangrijk. Als je zakelijke contactgegevens scrapt van een openbare bedrijvengids voor B2B-marketing, kun je je mogelijk beroepen op gerechtvaardigd belang (AVG). Als je consumentenprofielen verzamelt, recensies met namen, of sociale media-activiteit, moet je grondiger nadenken over toestemming, doelbinding en rechten van betrokkenen. De Europese privacytoezichthouders hebben duidelijk gemaakt dat publiek beschikbaar niet betekent vrijgesteld van databeschermingswetgeving—je hebt nog steeds een rechtmatige grondslag nodig en moet de redelijke verwachtingen van individuen respecteren.
In de praktijk vermijden veel bedrijven persoonsgegevens helemaal. In plaats van gebruikersrecensies met namen te scrapen, scrape je geaggregeerde beoordelingen en anonieme tekst. In plaats van individuele sociale mediaprofielen te verzamelen, verzamel je openbare berichten zonder ze te koppelen aan identificeerbare personen, tenzij je een duidelijk juridisch pad hebt en een bijpassend privacybeleid. Als je project persoonsgegevens vereist, raadpleeg dan een privacyjurist voordat je begint.
Gebruiksvoorwaarden: Contract vs Technische Toegang
De meeste websites publiceren gebruiksvoorwaarden die scraping, geautomatiseerde toegang of commercieel gebruik van hun data verbieden. Het juridische gewicht van deze voorwaarden is een veelvoorkomend punt van verwarring. Het schenden van gebruiksvoorwaarden maakt scraping niet automatisch illegaal—rechtbanken hebben geoordeeld dat een schending van gebruiksvoorwaarden op zichzelf niet hetzelfde is als ongeautoriseerde toegang tot een computersysteem.
Gebruiksvoorwaarden blijven echter contracten, en het schenden ervan kan leiden tot civielrechtelijke gevolgen. Een website-eigenaar kan een sommatiebrief sturen, een verbod aanvragen, of een rechtszaak aanspannen wegens contractbreuk als ze schade kunnen aantonen. Contractrecht is van toepassing—als je expliciet akkoord gaat met voorwaarden die scraping verbieden, kun je aansprakelijk zijn voor contractbreuk, hoewel handhaving zeldzaam is tenzij de website aantoonbare schade kan demonstreren.
Hoe Om Te Gaan Met Gebruiksvoorwaarden
- Lees de voorwaarden. Als scraping expliciet verboden is en je plant een commercieel project, weeg dan het risico af. Grote platforms met agressieve juridische teams handhaven hun voorwaarden eerder dan kleine sites.
- Controleer eerst op een API. Veel platforms bieden officiële API's die gestructureerde data geven zonder contractuele dubbelzinnigheid.
- Blijf beleefd en technisch. Zelfs als voorwaarden scraping verbieden, tolereren websites vaak bots met laag volume die de dienst niet verstoren. De lijn tussen getolereerd en aangeklaagd hangt vaak af van schaal en impact.
- Documenteer je proces. Als je uitgedaagd wordt, versterkt het tonen dat je alleen publieke data verzamelde, robots.txt respecteerde en verzoekfrequenties redelijk hield je positie.
Voor grijs-areaprojecten—het scrapen van een grote marktplaats of vastgoedplatform voor prijsmonitoring—is het praktische advies om voorzichtig te werk te gaan, gebruik te maken van een gerenommeerde scrapingdienst die de grenzen begrijpt, en voorbereid te zijn om te stoppen als je juridische tegenstand ontvangt.
Auteursrecht en Databankenrechten
Auteursrecht beschermt originele creatieve werken—tekst, afbeeldingen, video's, softwarecode. Het scrapen van een website geeft je geen eigendom over de inhoud. Als je gescrapete artikelen, productbeschrijvingen of foto's opnieuw publiceert zonder toestemming, riskeer je auteursrechtinbreuk. In de EU verlenen databankenrechten een extra beschermingslaag: de Databankenrichtlijn biedt sui generis bescherming aan databanken waarin substantiële investering is gedaan voor het verkrijgen, verifiëren of presenteren van de data.
Feiten zelf zijn niet auteursrechtelijk beschermd—prijzen, adressen, productspecificaties—maar de manier waarop ze worden uitgedrukt of gerangschikt kan dat wel zijn. Het scrapen van ruwe feitelijke data voor je eigen interne gebruik (prijsvergelijking, marktonderzoek, voorraadmonitoring) valt over het algemeen onder toegestaan gebruik of raakt auteursrecht helemaal niet. Het opnieuw publiceren van die data op een manier die direct concurreert met de oorspronkelijke bron is riskanter.
Auteursrechtrisico Minimaliseren
- Extraheer feiten, geen creatieve inhoud. Scrape prijzen, specificaties en beschikbaarheid, geen marketingteksten of professionele foto's.
- Transformeer de data. Als je gescrapete data aggregeert, analyseert of herformatteert tot je eigen product, voeg je transformatieve waarde toe die een beroep op toegestaan gebruik ondersteunt.
- Verwijs waar zinvol. Als je gescrapete data publiek toont, link dan terug naar de bron.
- Vermijd bulkpublicatie. Het spiegelen van een volledige website of databank is de duidelijkste inbreuk. Gebruik gescrapete data om beslissingen te onderbouwen, niet om het origineel te vervangen.
Voor commerciële projecten die gescrapete content opnieuw zullen publiceren of distribueren—vergelijkingssites, aggregators, AI-trainingsdatasets—investeer dan in een juridische beoordeling.
Technische Impact: Respecteer de Infrastructuur
Zelfs wanneer je een wettelijk recht hebt om te scrapen, doet de technische manier ertoe. Het overbelasten van een website met verzoeken kan een denial-of-service-aanval vormen. Agressief scrapen dat meetbare schade veroorzaakt—downtime, verhoogde hostingkosten, verslechterde gebruikerservaring—kan claims voor schadevergoeding of een verbod ondersteunen.
Rate limiting is zowel een hoffelijkheid als een juridische waarborg. Een goed ontworpen scraper bootst menselijk gedrag na: het wacht tussen verzoeken, respecteert robots.txt-richtlijnen, identificeert zichzelf met een user-agent string, en trekt zich terug als de site fouten retourneert. Websites implementeren anti-botmaatregelen niet alleen om gebruiksvoorwaarden te handhaven, maar ook om infrastructuur te beschermen.
Robots.txt is niet wettelijk bindend, maar het negeren ervan verzwakt je positie als er een geschil ontstaat. Rechtbanken hebben naleving van robots.txt beschouwd als bewijs van goede trouw, en het schenden ervan kan een claim ondersteunen dat je bewust geautoriseerde toegang hebt overschreden. Configureer voor zakelijke projecten je scrapers om robots.txt te respecteren, tenzij je een specifieke reden—en juridisch advies—hebt om het te overrulen.
Praktische Compliance Checklist
Elk scrapingproject moet beginnen met een compliancebeoordeling. De volgende checklist dekt de belangrijkste juridische en technische overwegingen voor bedrijven in Nederland en de EU. Het is geen vervanging voor juridisch advies, maar het geeft je een raamwerk om risico's te identificeren voordat je middelen inzet.
Voordat Je Begint
- Bevestig dat de data publiek is. Kan elke bezoeker het zien zonder in te loggen of te betalen? Zo ja, ga door. Zo nee, stop of vraag toestemming.
- Controleer op een officiële API. Veel platforms bieden gestructureerde datatoegang die contractuele dubbelzinnigheid vermijdt.
- Lees de gebruiksvoorwaarden. Noteer expliciete verboden op scraping, geautomatiseerde toegang of commercieel gebruik. Weeg het handhavingsrisico af op basis van de geschiedenis van het platform en jouw use case.
- Identificeer persoonsgegevens. Verzamel je namen, e-mails, telefoonnummers of andere identificatoren? Zo ja, bepaal dan je rechtmatige grondslag onder de AVG.
- Beoordeel auteursrecht en databankenrechten. Extraheer je creatieve inhoud (tekst, afbeeldingen) of feitelijke data (prijzen, specs)? Plan om feiten te gebruiken, niet te kopiëren, en voeg indien mogelijk transformatieve waarde toe.
Tijdens Het Project
- Respecteer robots.txt. Configureer je scraper om disallow-richtlijnen te respecteren, tenzij je een juridische reden hebt om ze te overrulen.
- Beperk verzoekfrequenties. Spreid verzoeken om te voorkomen dat de doelsite overbelast raakt. Eén verzoek per seconde is een goed startpunt voor kleine sites.
- Gebruik een duidelijke user-agent. Identificeer je scraper met een beschrijvende user-agent string en verstrek contactinformatie.
- Monitor voor blokkades en fouten. Als je 403, 429 of captcha-uitdagingen ontvangt, vertraag dan of stop.
- Bewaar data veilig. Als je persoonsgegevens verzamelt, versleutel ze tijdens transport en opslag, beperk toegang en voldoe aan bewaarregels.
Na Verzameling
- Gebruik data voor het vermelde doel. Herbestem persoonsgegevens niet zonder een nieuwe rechtmatige grondslag.
- Verwijs naar bronnen waar gepast. Als je gescrapete data publiek toont, link dan terug naar de originele site.
- Reageer op verwijderingsverzoeken. Als een website-eigenaar vraagt om te stoppen of data te verwijderen, neem het verzoek serieus.
- Beoordeel periodiek. Wetten veranderen, gebruiksvoorwaarden worden bijgewerkt en handhavingsprioriteiten verschuiven. Herzie je compliancebeoordeling jaarlijks.
Wanneer Juridisch Advies Inwinnen
Sommige projecten vallen duidelijk binnen veilige grenzen—het scrapen van openbare productlijsten voor interne prijsvergelijking, het verzamelen van vastgoedadvertenties voor marktanalyse, of het verzamelen van klantrecensies voor sentimentonderzoek. Andere zijn dubbelzinnig of hoogrisicovol. Je moet een jurist raadplegen als je project een van de volgende omvat:
- Het scrapen van een platform dat sommatiesbrieven heeft gestuurd of scrapers heeft aangeklaagd in het verleden.
- Het op grote schaal verzamelen van persoonsgegevens, vooral als je van plan bent deze te verkopen, te gebruiken voor profilering, of te combineren met andere datasets.
- Het opnieuw publiceren of distribueren van gescrapete content op een manier die concurreert met de oorspronkelijke bron.
- Toegang tot data achter inlogmuren, betaalmuren of technische bescherming, zelfs als je een account hebt.
- Opereren in een gereguleerde sector (financiën, gezondheidszorg, juridische diensten) waar dataverwerking onderworpen is aan sectorspecifieke regels.
Een jurist kan een illegaal project niet legaal maken, maar kan je helpen een verdedigbare aanpak te structureren, voorwaarden en privacyverklaringen op te stellen, en te adviseren over risicobeperking. Voor hoogwaardige projecten—het bouwen van een SaaS-platform op gescrapete data, het lanceren van een vergelijkingssite, of het creëren van een commerciële dataset—zijn de kosten van juridisch advies bescheiden vergeleken met de kosten van rechtszaken of boetes.
Werken met een Scrapingdienst
Veel bedrijven kiezen ervoor om dataverzameling uit te besteden in plaats van scrapers intern te bouwen. Een professionele dienst brengt technische expertise, handelt anti-botbescherming af, en begrijpt de juridische grenzen. Vraag bij het evalueren van een leverancier naar hun compliancepraktijken. Verzamelen ze alleen publieke data? Respecteren ze robots.txt en rate limits? Vermijden ze persoonsgegevens tenzij jij een rechtmatige grondslag verstrekt?
Kodrana onderhoudt een catalogus van kant-en-klare scrapers voor veelvoorkomende platforms—marktplaatsen, vastgoedsites, vacaturebanken, bedrijvengidsen—en bouwt aangepaste scrapers voor nieuwe bronnen binnen 2-5 werkdagen. We verzamelen alleen publiek beschikbare data, loggen nooit in op accounts die we niet bezitten, en configureren elke scraper om technische en juridische limieten te respecteren. Voordat we een project starten, beoordelen we de doelsite en bevestigen we de haalbaarheid. Voor nieuwe klanten leveren we een gratis voorbeeld van 50-100 records zodat je datakwaliteit en compliance kunt verifiëren voordat je je committeert. Als je niet zeker weet of je project haalbaar is, stuur ons dan de site en de velden die je nodig hebt—we zullen het beschermingsniveau controleren en adviseren over het juridische en technische pad voorwaarts.
Veelgestelde vragen
Is webscraping illegaal in Nederland of de EU?
Webscraping is niet inherent illegaal. Het verzamelen van publiek zichtbare data zonder technische bescherming te omzeilen of databeschermingswetten te schenden is over het algemeen rechtmatig. Scraping kan echter illegaal worden als je niet-publieke data toegankelijk maakt zonder toestemming, persoonsgegevens onrechtmatig verzamelt, of technische schade toebrengt aan een website. De juridische grenzen hangen af van wat je scrapt, hoe je het doet, en wat je daarna met de data doet.
Kunnen gebruiksvoorwaarden van een website scraping illegaal maken?
Gebruiksvoorwaarden zijn contracten, geen strafrecht. Het schenden ervan maakt scraping niet automatisch een misdrijf. Een website-eigenaar kan echter civielrechtelijke middelen nastreven—sommatiesbrieven, verboden of rechtszaken wegens contractbreuk—als ze schade kunnen aantonen. Rechtbanken hebben geoordeeld dat schendingen van gebruiksvoorwaarden op zichzelf geen ongeautoriseerde toegang vormen, maar grote platforms met middelen kunnen hun voorwaarden nog steeds agressief handhaven.
Wat is het verschil tussen publieke en niet-publieke data bij webscraping?
Publieke data is zichtbaar voor elke bezoeker zonder in te loggen, te betalen of technische barrières te omzeilen. Voorbeelden zijn productlijsten, nieuwsartikelen en bedrijvengidsen. Niet-publieke data vereist authenticatie of het omzeilen van toegangscontroles—klantendashboards, betaalde content of privégebruikersprofielen. Het scrapen van publieke data is over het algemeen rechtmatig; het scrapen van niet-publieke data zonder toestemming niet.
Moet ik robots.txt volgen bij het scrapen?
Robots.txt is niet wettelijk bindend, maar het negeren ervan verzwakt je juridische positie als er een geschil ontstaat. Rechtbanken hebben naleving van robots.txt behandeld als bewijs van goede trouw, en het schenden ervan kan claims van ongeautoriseerde toegang of kwaadwillig gedrag ondersteunen. Voor zakelijke projecten is het respecteren van robots.txt een goedkope waarborg die risico vermindert.
Mag ik persoonsgegevens scrapen onder de AVG?
Je mag persoonsgegevens scrapen als je een rechtmatige grondslag hebt onder de AVG. Publiek beschikbaar betekent niet vrijgesteld—je hebt nog steeds een juridische rechtvaardiging nodig, moet de rechten van individuen respecteren, en moet dataverzameling minimaliseren. Voor de meeste zakelijke use cases is het helemaal vermijden van persoonsgegevens eenvoudiger en veiliger. Als je project het vereist, raadpleeg dan een privacyjurist voordat je begint.