Automatisierte Datenerfassungs-Infrastruktur für Commerce und Analytik

Aufgabe

Wir brauchten eine zuverlässige Methode, um täglich Lieferantenkataloge und Preisdaten für unsere eigenen Projekte zu erfassen. Manuelle Prüfungen waren bei dieser Größenordnung keine Option, und verschiedene Quellen hatten unterschiedliche Strukturen und Aktualisierungspläne.

Außerdem mussten wir SEO-Keywords von Analyse-Services tracken und Aktivitäten auf Handelsplattformen überwachen. Jede Quelle erforderte einen eigenen Ansatz für Extraktion und Speicherung.

Lösung

Wir haben Scraping- und Monitoring-Systeme entwickelt, die nach Zeitplan laufen. Python und Playwright übernehmen die Extraktionslogik und passen sich an unterschiedliche Seitenstrukturen und dynamische Inhalte an. Daten fließen zur Speicherung und Abfrage in PostgreSQL.

Die Systeme erfassen täglich Lieferantenkataloge und Preise, ziehen SEO-Keyword-Daten von Analyse-Services und überwachen Handelsplattformen auf Änderungen. Jeder Scraper läuft in Docker-Containern, die Zeitsteuerung erfolgt über cron.

Mit der Zeit haben wir einen Katalog fertiger Website-Scraper zusammengestellt. Der Katalog umfasst jetzt Konfigurationen für verschiedene Quellen, sodass sich neue Datenerfassungs-Tasks unkompliziert hinzufügen lassen, ohne von Null anzufangen.

• Tägliche automatisierte Erfassung von Lieferantenkatalogen und Preisen
• SEO-Keyword-Extraktion aus Analyse-Services
• Monitoring von Handelsplattformen
• Docker-Container für isolierte Scraper-Ausführung
• PostgreSQL-Speicherung für strukturierten Datenzugriff
• Katalog fertiger Scraper-Konfigurationen

Ergebnis

• Tägliche Erfassung von Lieferantenkatalogen und Preisen läuft ohne manuelle Eingriffe
• SEO-Keywords werden automatisch von Analyse-Services abgerufen
• Handelsplattformen werden auf Aktivität und Änderungen überwacht
• Katalog fertiger Website-Scraper verfügbar