بنية تحتية آلية لجمع البيانات للتجارة والتحليلات

المهمة

كنا بحاجة إلى طريقة موثوقة لجمع كتالوجات الموردين وبيانات التسعير يومياً لمشاريعنا الخاصة. لم تكن الفحوصات اليدوية خياراً على نطاق واسع، وكان لدى المصادر المختلفة هياكل وجداول تحديث مختلفة.

كنا بحاجة أيضاً إلى تتبع الكلمات المفتاحية لتحسين محركات البحث من خدمات التحليلات ومراقبة النشاط على منصات التداول. كل مصدر تطلب نهجه الخاص للاستخراج والتخزين.

الحل

قمنا ببناء أنظمة استخراج ومراقبة تعمل وفق جدول زمني. تتولى Python وPlaywright منطق الاستخراج، متكيفة مع هياكل الصفحات المختلفة والمحتوى الديناميكي. تتدفق البيانات إلى PostgreSQL للتخزين والاستعلام.

تجمع الأنظمة كتالوجات الموردين والأسعار يومياً، وتسحب بيانات الكلمات المفتاحية لتحسين محركات البحث من خدمات التحليلات، وتراقب منصات التداول للتغييرات. يعمل كل مستخرج في حاويات Docker، تُدار بواسطة cron للجدولة.

مع الوقت، قمنا بتجميع كتالوج من مستخرجات المواقع الجاهزة. يتضمن الكتالوج الآن إعدادات لمصادر مختلفة، مما يجعل إضافة مهام جمع بيانات جديدة أمراً مباشراً دون البدء من الصفر.

• جمع آلي يومي لكتالوجات الموردين والتسعير
• استخراج الكلمات المفتاحية لتحسين محركات البحث من خدمات التحليلات
• مراقبة منصات التداول
• حاويات Docker لتنفيذ المستخرجات بشكل معزول
• تخزين PostgreSQL للوصول المنظم للبيانات
• كتالوج من إعدادات المستخرجات الجاهزة

النتيجة

• جمع يومي لكتالوجات الموردين والأسعار يعمل دون تدخل يدوي
• سحب الكلمات المفتاحية لتحسين محركات البحث تلقائياً من خدمات التحليلات
• مراقبة منصات التداول للنشاط والتغييرات
• كتالوج من مستخرجات المواقع الجاهزة متاح