Ticaret ve analitik için otomatik veri toplama altyapısı

Görev

Kendi projelerimiz için tedarikçi kataloglarını ve fiyat verilerini günlük olarak toplamanın güvenilir bir yoluna ihtiyacımız vardı. Ölçekte manuel kontroller bir seçenek değildi ve farklı kaynakların farklı yapıları ve güncelleme programları vardı.

Ayrıca analitik hizmetlerinden SEO anahtar kelimelerini takip etmemiz ve ticaret platformlarındaki aktiviteyi izlememiz gerekiyordu. Her kaynak, çıkarma ve depolama için kendi yaklaşımını gerektiriyordu.

Çözüm

Programa göre çalışan kazıma ve izleme sistemleri kurduk. Python ve Playwright, farklı sayfa yapılarına ve dinamik içeriğe uyum sağlayarak çıkarma mantığını yönetiyor. Veriler depolama ve sorgulama için PostgreSQL'e akıyor.

Sistemler günlük olarak tedarikçi kataloglarını ve fiyatları topluyor, analitik hizmetlerinden SEO anahtar kelime verilerini çekiyor ve ticaret platformlarını değişiklikler için izliyor. Her kazıyıcı, zamanlama için cron tarafından yönetilen Docker konteynerlerinde çalışıyor.

Zamanla hazır web sitesi kazıyıcılarından oluşan bir katalog oluşturduk. Katalog artık farklı kaynaklar için yapılandırmalar içeriyor ve bu da sıfırdan başlamadan yeni veri toplama görevleri eklemeyi kolaylaştırıyor.

• Tedarikçi kataloglarının ve fiyatlandırmanın günlük otomatik toplanması
• Analitik hizmetlerinden SEO anahtar kelime çıkarımı
• Ticaret platformlarının izlenmesi
• İzole kazıyıcı yürütmesi için Docker konteynerler
• Yapılandırılmış veri erişimi için PostgreSQL depolama
• Hazır kazıyıcı yapılandırmaları katalogu

Sonuç

• Tedarikçi kataloglarının ve fiyatların günlük toplanması manuel müdahale olmadan çalışıyor
• SEO anahtar kelimeleri analitik hizmetlerinden otomatik olarak çekiliyor
• Ticaret platformları aktivite ve değişiklikler için izleniyor
• Hazır web sitesi kazıyıcıları katalogu mevcut