โครงสร้างพื้นฐานสำหรับรวบรวมข้อมูลอัตโนมัติเพื่อการค้าและการวิเคราะห์

โจทย์

เราต้องการวิธีที่เชื่อถือได้ในการรวบรวมแค็ตตาล็อกและข้อมูลราคาจากซัพพลายเออร์ทุกวันเพื่อใช้ในโปรเจกต์ของเราเอง การตรวจสอบด้วยตนเองไม่เหมาะกับงานในปริมาณมาก และแต่ละแหล่งก็มีโครงสร้างกับกำหนดการอัปเดตที่แตกต่างกัน

เรายังต้องติดตามคีย์เวิร์ด SEO จากบริการวิเคราะห์ข้อมูล และตรวจสอบกิจกรรมบนแพลตฟอร์มการค้า แต่ละแหล่งข้อมูลต้องใช้แนวทางเฉพาะในการดึงและจัดเก็บข้อมูล

แนวทางแก้ไข

เราสร้างระบบดึงและติดตามข้อมูลที่ทำงานตามกำหนดเวลา โดยใช้ Python และ Playwright จัดการกระบวนการดึงข้อมูล พร้อมปรับให้เข้ากับโครงสร้างหน้าเว็บและเนื้อหาแบบไดนามิกที่แตกต่างกัน ข้อมูลจะถูกจัดเก็บใน PostgreSQL เพื่อให้ค้นและเรียกใช้ได้

ระบบรวบรวมแค็ตตาล็อกและราคาจากซัพพลายเออร์ทุกวัน ดึงข้อมูลคีย์เวิร์ด SEO จากบริการวิเคราะห์ข้อมูล และติดตามความเปลี่ยนแปลงบนแพลตฟอร์มการค้า สคริปต์ดึงข้อมูลแต่ละตัวทำงานในคอนเทนเนอร์ Docker โดยใช้ cron จัดการกำหนดเวลา

เมื่อเวลาผ่านไป เราได้รวบรวมคลังสคริปต์ดึงข้อมูลเว็บไซต์สำเร็จรูป ปัจจุบันคลังมีการตั้งค่าสำหรับแหล่งข้อมูลหลากหลาย จึงเพิ่มงานรวบรวมข้อมูลใหม่ได้สะดวกโดยไม่ต้องเริ่มต้นจากศูนย์

• รวบรวมแค็ตตาล็อกและราคาจากซัพพลายเออร์โดยอัตโนมัติทุกวัน
• ดึงคีย์เวิร์ด SEO จากบริการวิเคราะห์ข้อมูล
• ติดตามแพลตฟอร์มการค้า
• ใช้คอนเทนเนอร์ Docker เพื่อแยกการทำงานของสคริปต์ดึงข้อมูล
• จัดเก็บข้อมูลแบบมีโครงสร้างใน PostgreSQL เพื่อให้เข้าถึงได้
• คลังการตั้งค่าสคริปต์ดึงข้อมูลสำเร็จรูป

ผลลัพธ์

• รวบรวมแค็ตตาล็อกและราคาจากซัพพลายเออร์ทุกวันโดยไม่ต้องดำเนินการด้วยตนเอง
• ดึงคีย์เวิร์ด SEO จากบริการวิเคราะห์ข้อมูลโดยอัตโนมัติ
• ติดตามกิจกรรมและความเปลี่ยนแปลงบนแพลตฟอร์มการค้า
• มีคลังสคริปต์ดึงข้อมูลเว็บไซต์สำเร็จรูปพร้อมใช้งาน