Geautomatiseerde infrastructuur voor dataverzameling in handel en analyses

Opdracht

We hadden een betrouwbare manier nodig om dagelijks leverancierscatalogi en prijsgegevens voor onze eigen projecten te verzamelen. Handmatige controles waren op schaal geen optie en verschillende bronnen hadden uiteenlopende structuren en updateschema’s.

Daarnaast moesten we SEO-zoekwoorden uit analyticsdiensten volgen en activiteiten op handelsplatforms monitoren. Elke bron vereiste een eigen aanpak voor extractie en opslag.

Oplossing

We bouwden scraping- en monitoringsystemen die volgens een schema draaien. Python en Playwright verzorgen de extractielogica en passen zich aan verschillende paginastructuren en dynamische content aan. De gegevens worden opgeslagen in PostgreSQL, zodat ze kunnen worden opgeslagen en opgevraagd.

De systemen verzamelen dagelijks leverancierscatalogi en prijzen, halen SEO-zoekwoordgegevens op uit analyticsdiensten en monitoren handelsplatforms op veranderingen. Elke scraper draait in Docker-containers, die voor de planning door cron worden beheerd.

Na verloop van tijd stelden we een catalogus met kant-en-klare websitescrapers samen. De catalogus bevat nu configuraties voor verschillende bronnen, waardoor nieuwe dataverzamelingstaken eenvoudig kunnen worden toegevoegd zonder helemaal opnieuw te beginnen.

• Dagelijkse geautomatiseerde verzameling van leverancierscatalogi en prijzen
• Extractie van SEO-zoekwoorden uit analyticsdiensten
• Monitoring van handelsplatforms
• Docker-containers voor geïsoleerde uitvoering van scrapers
• PostgreSQL-opslag voor gestructureerde toegang tot gegevens
• Catalogus met kant-en-klare scraperconfiguraties

Resultaat

• Dagelijkse verzameling van leverancierscatalogi en prijzen zonder handmatige tussenkomst
• SEO-zoekwoorden worden automatisch uit analyticsdiensten opgehaald
• Handelsplatforms worden gemonitord op activiteiten en veranderingen
• Catalogus met kant-en-klare websitescrapers beschikbaar