Automatisoitu tiedonkeruuinfrastruktuuri kaupalle ja analytiikalle

Tehtävä

Tarvitsimme luotettavan tavan kerätä toimittajaluettelot ja hintatiedot päivittäin omiin projekteihimme. Manuaaliset tarkistukset eivät olleet vaihtoehto mittakaavassa, ja eri lähteillä oli erilaiset rakenteet ja päivitysaikataulut.

Meidän piti myös seurata SEO-avainsanoja analytiikkapalveluista ja valvoa toimintaa kauppapaikoilla. Jokainen lähde vaati oman lähestymistapansa tiedon purkamiseen ja tallennukseen.

Ratkaisu

Rakensimme kaavinta- ja seurantajärjestelmät, jotka toimivat aikataulun mukaan. Python ja Playwright hoitavat purkamislogiikan, mukautuen erilaisiin sivurakenteisiin ja dynaamiseen sisältöön. Tiedot virtaavat PostgreSQL-tietokantaan tallennusta ja kyselyitä varten.

Järjestelmät keräävät toimittajaluettelot ja hinnat päivittäin, hakevat SEO-avainsanatiedot analytiikkapalveluista ja seuraavat kauppapaikkoja muutosten varalta. Jokainen kaavain toimii Docker-konteissa, joita cron hallitsee aikataulutusta varten.

Ajan myötä kokosimme luettelon valmiista verkkosivukaapimista. Luettelo sisältää nyt konfiguraatiot eri lähteille, mikä tekee uusien tiedonkeruutehtävien lisäämisestä suoraviivaista ilman alusta aloittamista.

• Päivittäinen automatisoitu toimittajaluetteloiden ja hinnoittelun keräys
• SEO-avainsanojen purku analytiikkapalveluista
• Kauppapaikkojen seuranta
• Docker-kontit eristettyä kaavainten suoritusta varten
• PostgreSQL-tallennus strukturoidun tiedon käyttöä varten
• Luettelo valmiista kaavinkonfiguraatioista

Tulos

• Päivittäinen toimittajaluetteloiden ja hintojen keräys toimii ilman manuaalista väliintuloa
• SEO-avainsanat haetaan automaattisesti analytiikkapalveluista
• Kauppapaikkoja seurataan toiminnan ja muutosten varalta
• Luettelo valmiista verkkosivukaapimista saatavilla