커머스 및 분석을 위한 자동화 데이터 수집 인프라

과제

자체 프로젝트를 위해 공급업체 카탈로그와 가격 데이터를 매일 수집할 수 있는 안정적인 방법이 필요했습니다. 수동 확인은 규모상 불가능했고, 각 소스마다 구조와 업데이트 일정이 달랐습니다.

또한 분석 서비스에서 SEO 키워드를 추적하고 거래 플랫폼의 활동을 모니터링해야 했습니다. 각 소스는 추출 및 저장에 고유한 접근 방식이 필요했습니다.

솔루션

일정에 따라 실행되는 스크래핑 및 모니터링 시스템을 구축했습니다. Python과 Playwright가 추출 로직을 처리하며, 다양한 페이지 구조와 동적 콘텐츠에 적응합니다. 데이터는 저장 및 쿼리를 위해 PostgreSQL로 흐릅니다.

시스템은 매일 공급업체 카탈로그와 가격을 수집하고, 분석 서비스에서 SEO 키워드 데이터를 가져오며, 거래 플랫폼의 변경 사항을 모니터링합니다. 각 스크래퍼는 Docker 컨테이너에서 실행되며, cron으로 일정을 관리합니다.

시간이 지나면서 즉시 사용 가능한 웹사이트 스크래퍼 카탈로그를 구축했습니다. 카탈로그에는 다양한 소스에 대한 구성이 포함되어 있어, 처음부터 시작하지 않고도 새로운 데이터 수집 작업을 간단하게 추가할 수 있습니다.

• 공급업체 카탈로그 및 가격 일일 자동 수집
• 분석 서비스에서 SEO 키워드 추출
• 거래 플랫폼 모니터링
• 격리된 스크래퍼 실행을 위한 Docker 컨테이너
• 구조화된 데이터 액세스를 위한 PostgreSQL 저장소
• 즉시 사용 가능한 스크래퍼 구성 카탈로그

결과

• 수동 개입 없이 실행되는 공급업체 카탈로그 및 가격 일일 수집
• 분석 서비스에서 자동으로 추출되는 SEO 키워드
• 활동 및 변경 사항에 대해 모니터링되는 거래 플랫폼
• 사용 가능한 즉시 사용 가능한 웹사이트 스크래퍼 카탈로그