Infrastruktura automatycznego zbierania danych dla e-commerce i analityki

Zadanie

Potrzebowaliśmy niezawodnego sposobu na codzienne zbieranie katalogów dostawców i danych cenowych dla naszych własnych projektów. Ręczne sprawdzanie nie wchodziło w grę na dużą skalę, a różne źródła miały różne struktury i harmonogramy aktualizacji.

Musieliśmy również śledzić słowa kluczowe SEO z usług analitycznych i monitorować aktywność na platformach handlowych. Każde źródło wymagało własnego podejścia do ekstrakcji i przechowywania danych.

Rozwiązanie

Zbudowaliśmy systemy scrapingu i monitoringu działające według harmonogramu. Python i Playwright obsługują logikę ekstrakcji, dostosowując się do różnych struktur stron i dynamicznych treści. Dane trafiają do PostgreSQL w celu przechowywania i odpytywania.

Systemy zbierają codziennie katalogi dostawców i ceny, pobierają dane słów kluczowych SEO z usług analitycznych i monitorują platformy handlowe pod kątem zmian. Każdy scraper działa w kontenerach Docker, zarządzanych przez cron w zakresie harmonogramowania.

Z czasem stworzyliśmy katalog gotowych scraperów stron internetowych. Katalog zawiera teraz konfiguracje dla różnych źródeł, co ułatwia dodawanie nowych zadań zbierania danych bez rozpoczynania od zera.

• Codzienny automatyczny zbiór katalogów dostawców i cen
• Ekstrakcja słów kluczowych SEO z usług analitycznych
• Monitoring platform handlowych
• Kontenery Docker do izolowanego wykonywania scraperów
• Przechowywanie w PostgreSQL dla uporządkowanego dostępu do danych
• Katalog gotowych konfiguracji scraperów

Rezultat

• Codzienny zbiór katalogów dostawców i cen działa bez ręcznej interwencji
• Słowa kluczowe SEO pobierane automatycznie z usług analitycznych
• Platformy handlowe monitorowane pod kątem aktywności i zmian
• Dostępny katalog gotowych scraperów stron internetowych