Automatizált adatgyűjtési infrastruktúra kereskedelemhez és analitikához

Feladat

Megbízható módszerre volt szükségünk, hogy saját projektjeinkhez naponta összegyűjtsük a beszállítói katalógusokat és áradatokat. Manuális ellenőrzés nagy léptékben nem jöhetett szóba, és a különböző forrásoknak eltérő struktúrájuk és frissítési ütemezésük volt.

Arra is szükség volt, hogy SEO kulcsszavakat kövessünk nyomon analitikai szolgáltatásokból, és monitorozzuk a kereskedési platformok aktivitását. Minden forrás saját megközelítést igényelt az adatkinyerés és tárolás terén.

Megoldás

Ütemezett scraping és monitorozó rendszereket építettünk. A Python és Playwright kezeli a kinyerési logikát, alkalmazkodva a különböző oldalstruktúrákhoz és dinamikus tartalomhoz. Az adatok PostgreSQL-be kerülnek tárolásra és lekérdezéshez.

A rendszerek naponta gyűjtik a beszállítói katalógusokat és árakat, lekérik a SEO kulcsszó-adatokat analitikai szolgáltatásokból, és monitorozzák a kereskedési platformokat változásokért. Minden scraper Docker konténerekben fut, az ütemezést cron kezeli.

Idővel összeállítottunk egy katalógust kész weboldal-scraperekből. A katalógus most már különböző forrásokhoz tartalmaz konfigurációkat, így egyszerűvé válik új adatgyűjtési feladatok hozzáadása anélkül, hogy nulláról kellene kezdeni.

• Beszállítói katalógusok és árazás napi automatizált gyűjtése
• SEO kulcsszavak kinyerése analitikai szolgáltatásokból
• Kereskedési platformok monitorozása
• Docker konténerek az elkülönített scraper-futtatáshoz
• PostgreSQL tárolás strukturált adathozzáféréshez
• Kész scraper-konfigurációk katalógusa

Eredmény

• Beszállítói katalógusok és árak napi gyűjtése manuális beavatkozás nélkül működik
• SEO kulcsszavak automatikusan lekérve analitikai szolgáltatásokból
• Kereskedési platformok monitorozva aktivitás és változások miatt
• Kész weboldal-scraperek katalógusa elérhető