商取引・分析向け自動データ収集インフラ

課題

自社プロジェクト向けに、サプライヤーカタログと価格データを日次で確実に収集する仕組みが必要でした。手動チェックは規模的に不可能で、各ソースは異なる構造と更新スケジュールを持っていました。

また、分析サービスからSEOキーワードを追跡し、取引プラットフォームの活動を監視する必要もありました。各ソースには独自の抽出・保存アプローチが求められました。

ソリューション

スケジュール実行されるスクレイピング・監視システムを構築しました。PythonとPlaywrightが抽出ロジックを処理し、異なるページ構造や動的コンテンツに対応します。データはPostgreSQLに流入し、保存・クエリが可能です。

システムはサプライヤーカタログと価格を日次で収集し、分析サービスからSEOキーワードデータを取得し、取引プラットフォームの変更を監視します。各スクレイパーはDockerコンテナで実行され、cronでスケジュール管理されています。

時間をかけて、即利用可能なウェブサイトスクレイパーのカタログを構築しました。カタログには現在、異なるソース向けの設定が含まれており、ゼロから始めることなく新しいデータ収集タスクを追加できます。

• サプライヤーカタログと価格の日次自動収集
• 分析サービスからのSEOキーワード抽出
• 取引プラットフォームの監視
• 分離スクレイパー実行のためのDockerコンテナ
• 構造化データアクセスのためのPostgreSQLストレージ
• 即利用可能なスクレイパー設定カタログ

成果

• 手動介入なしでサプライヤーカタログと価格の日次収集が稼働中
• 分析サービスからSEOキーワードを自動取得
• 取引プラットフォームの活動と変更を監視
• 即利用可能なウェブサイトスクレイパーカタログが利用可能