Инфраструктура за автоматизирано събиране на данни за търговия и анализи

Задача

Нуждаехме се от надежден начин за ежедневно събиране на каталози на доставчици и данни за цени за нашите собствени проекти. Ръчните проверки не бяха подходящи при голям обем, а различните източници имаха различна структура и график за актуализиране.

Трябваше също да следим SEO ключови думи от аналитични услуги и активността в търговските платформи. Всеки източник изискваше собствен подход за извличане и съхранение на данните.

Решение

Изградихме системи за извличане и мониторинг на данни, които работят по график. Python и Playwright осигуряват логиката за извличане и се адаптират към различни структури на страниците и динамично съдържание. Данните се съхраняват и обработват в PostgreSQL.

Системите ежедневно събират каталози на доставчици и цени, извличат SEO ключови думи от аналитични услуги и следят за промени в търговските платформи. Всеки скрейпър работи в Docker контейнер, а графикът се управлява чрез cron.

С времето създадохме каталог с готови скрейпъри за уебсайтове. Той вече включва конфигурации за различни източници, което улеснява добавянето на нови задачи за събиране на данни, без да се започва от нулата.

• Ежедневно автоматизирано събиране на каталози и цени на доставчици
• Извличане на SEO ключови думи от аналитични услуги
• Мониторинг на търговски платформи
• Docker контейнери за изолирано изпълнение на скрейпърите
• Съхранение в PostgreSQL за достъп до структурирани данни
• Каталог с готови конфигурации за скрейпъри

Резултат

• Ежедневно събиране на каталози и цени на доставчици без ръчна намеса
• Автоматично извличане на SEO ключови думи от аналитични услуги
• Мониторинг на активността и промените в търговските платформи
• Наличен каталог с готови скрейпъри за уебсайтове