Automatiserad infrastruktur för datainsamling inom handel och analys

Uppgift

Vi behövde ett tillförlitligt sätt att samla in leverantörskataloger och prisdata dagligen för våra egna projekt. Manuella kontroller var inte ett alternativ i skala, och olika källor hade olika strukturer och uppdateringsscheman.

Vi behövde också spåra SEO-nyckelord från analystjänster och övervaka aktivitet på handelsplattformar. Varje källa krävde sitt eget tillvägagångssätt för extraktion och lagring.

Lösning

Vi byggde skrapnings- och övervakningssystem som körs enligt schema. Python och Playwright hanterar extraktionslogiken och anpassar sig till olika sidstrukturer och dynamiskt innehåll. Data flödar in i PostgreSQL för lagring och sökning.

Systemen samlar in leverantörskataloger och priser dagligen, hämtar SEO-nyckelordsdata från analystjänster och övervakar handelsplattformar för förändringar. Varje skrapa körs i Docker-containrar, hanterade av cron för schemaläggning.

Med tiden samlade vi en katalog med färdiga webbskrapor. Katalogen innehåller nu konfigurationer för olika källor, vilket gör det enkelt att lägga till nya datainsamlingsuppgifter utan att börja från början.

• Daglig automatiserad insamling av leverantörskataloger och prissättning
• SEO-nyckelordsextraktion från analystjänster
• Övervakning av handelsplattformar
• Docker-containrar för isolerad skrapkörning
• PostgreSQL-lagring för strukturerad dataåtkomst
• Katalog med färdiga skrapkonfigurationer

Resultat

• Daglig insamling av leverantörskataloger och priser körs utan manuell intervention
• SEO-nyckelord hämtas automatiskt från analystjänster
• Handelsplattformar övervakas för aktivitet och förändringar
• Katalog med färdiga webbskrapor tillgänglig