वाणिज्य और विश्लेषण के लिए स्वचालित डेटा संग्रह इन्फ्रास्ट्रक्चर

काम

हमें अपनी परियोजनाओं के लिए आपूर्तिकर्ता कैटलॉग और मूल्य निर्धारण डेटा को दैनिक रूप से एकत्र करने के लिए एक विश्वसनीय तरीके की आवश्यकता थी। बड़े पैमाने पर मैनुअल जांच संभव नहीं थी, और विभिन्न स्रोतों की अलग-अलग संरचनाएं और अपडेट शेड्यूल थे।

हमें एनालिटिक्स सेवाओं से SEO कीवर्ड ट्रैक करने और ट्रेडिंग प्लेटफ़ॉर्म पर गतिविधि की निगरानी करने की भी आवश्यकता थी। प्रत्येक स्रोत को निष्कर्षण और भंडारण के लिए अपने दृष्टिकोण की आवश्यकता थी।

समाधान

हमने स्क्रैपिंग और मॉनिटरिंग सिस्टम बनाए जो शेड्यूल पर चलते हैं। Python और Playwright निष्कर्षण तर्क को संभालते हैं, विभिन्न पेज संरचनाओं और डायनामिक कंटेंट के अनुकूल होते हैं। डेटा भंडारण और क्वेरीइंग के लिए PostgreSQL में प्रवाहित होता है।

सिस्टम दैनिक रूप से आपूर्तिकर्ता कैटलॉग और कीमतें एकत्र करते हैं, एनालिटिक्स सेवाओं से SEO कीवर्ड डेटा खींचते हैं, और परिवर्तनों के लिए ट्रेडिंग प्लेटफ़ॉर्म की निगरानी करते हैं। प्रत्येक स्क्रेपर Docker कंटेनर में चलता है, शेड्यूलिंग के लिए cron द्वारा प्रबंधित।

समय के साथ, हमने तैयार वेबसाइट स्क्रेपर का एक कैटलॉग एकत्र किया। कैटलॉग में अब विभिन्न स्रोतों के लिए कॉन्फ़िगरेशन शामिल हैं, जिससे शुरुआत से शुरू किए बिना नए डेटा संग्रह कार्यों को जोड़ना सीधा हो जाता है।

• आपूर्तिकर्ता कैटलॉग और मूल्य निर्धारण का दैनिक स्वचालित संग्रह
• एनालिटिक्स सेवाओं से SEO कीवर्ड निष्कर्षण
• ट्रेडिंग प्लेटफ़ॉर्म की मॉनिटरिंग
• अलग स्क्रेपर निष्पादन के लिए Docker कंटेनर
• संरचित डेटा एक्सेस के लिए PostgreSQL स्टोरेज
• तैयार स्क्रेपर कॉन्फ़िगरेशन का कैटलॉग

रिज़ल्ट

• आपूर्तिकर्ता कैटलॉग और कीमतों का दैनिक संग्रह बिना मैनुअल हस्तक्षेप के चल रहा है
• SEO कीवर्ड एनालिटिक्स सेवाओं से स्वचालित रूप से खींचे गए
• गतिविधि और परिवर्तनों के लिए ट्रेडिंग प्लेटफ़ॉर्म की निगरानी की गई
• तैयार वेबसाइट स्क्रेपर का कैटलॉग उपलब्ध