תשתית אוטומטית לאיסוף נתונים עבור מסחר ואנליטיקה

משימה

היינו צריכים דרך אמינה לאסוף קטלוגי ספקים ונתוני תמחור מדי יום עבור הפרויקטים שלנו. בדיקות ידניות לא היו אופציה בהיקף כזה, ומקורות שונים היו בעלי מבנים ולוחות עדכון שונים.

כמו כן היינו צריכים לעקוב אחר מילות מפתח SEO משירותי אנליטיקה ולנטר פעילות בפלטפורמות מסחר. כל מקור דרש גישה משלו לחילוץ ואחסון.

פתרון

בנינו מערכות סקרייפינג וניטור שרצות בתזמון קבוע. Python ו-Playwright מטפלים בלוגיקת החילוץ, ומתאימים את עצמם למבני עמודים שונים ולתוכן דינמי. הנתונים זורמים אל PostgreSQL לאחסון ושאילתות.

המערכות אוספות קטלוגי ספקים ומחירים מדי יום, שולפות נתוני מילות מפתח SEO משירותי אנליטיקה, ומנטרות פלטפורמות מסחר לשינויים. כל סקרייפר רץ בקונטיינרים של Docker, מנוהלים על ידי cron לתזמון.

עם הזמן הרכבנו קטלוג של סקרייפרים מוכנים לאתרים. הקטלוג כולל כעת תצורות למקורות שונים, מה שמקל להוסיף משימות איסוף נתונים חדשות מבלי להתחיל מאפס.

• איסוף אוטומטי יומיומי של קטלוגי ספקים ותמחור
• חילוץ מילות מפתח SEO משירותי אנליטיקה
• ניטור פלטפורמות מסחר
• קונטיינרים של Docker להרצת סקרייפרים מבודדת
• אחסון PostgreSQL לגישה מובנית לנתונים
• קטלוג של תצורות סקרייפר מוכנות

תוצאה

• איסוף יומיומי של קטלוגי ספקים ומחירים רץ ללא התערבות ידנית
• מילות מפתח SEO נשלפות אוטומטית משירותי אנליטיקה
• פלטפורמות מסחר מנוטרות לפעילות ושינויים
• קטלוג של סקרייפרים מוכנים לאתרים זמין