Cara Memantau Harga Kompetitor dan Membangun Sistemnya

Tiga Cara Mengumpulkan Harga Kompetitor

Bisnis menggunakan tiga pendekatan utama untuk pemantauan harga kompetitor, masing-masing dengan perbedaan dalam biaya, fleksibilitas, dan kebutuhan pemeliharaan.

Pengecekan Harga Manual

Seseorang mengunjungi situs kompetitor, menyalin harga ke spreadsheet, lalu memperbaruinya setiap minggu atau bulan. Cara ini cocok untuk katalog kecil, di bawah lima puluh SKU, serta pemeriksaan sesekali. Keunggulannya adalah tidak ada biaya awal dan tidak memerlukan pengaturan teknis. Kekurangannya adalah proses yang lambat, misalnya satu jam untuk memeriksa dua puluh produk di lima situs, risiko kesalahan manusia, serta sulitnya melacak tren historis atau menangkap promo singkat. Pengecekan manual masuk akal untuk produk bernilai tinggi dengan harga stabil, seperti peralatan industri atau layanan khusus, tetapi cepat tidak memadai untuk ritel dengan ratusan produk yang berubah setiap hari.

Software Pemantauan Harga

Platform SaaS melakukan scraping situs kompetitor dan menyajikan datanya melalui dashboard. Sebagian besar menyediakan pencocokan produk, notifikasi, serta integrasi dengan alat repricing. Alat ini bekerja baik ketika kompetitor Anda berjualan di platform populer seperti Tokopedia, Shopee, atau marketplace besar lain yang sudah didukung software tersebut. Keterbatasan muncul ketika Anda perlu memantau situs niche, kompetitor regional, atau titik data tertentu yang tidak dikumpulkan platform, seperti biaya pengiriman berdasarkan wilayah atau diskon bundel. Anda juga bergantung pada jadwal pembaruan penyedia dan tidak dapat menyesuaikan aturan pencocokan di luar opsi antarmukanya.

Web Scraper Khusus

Scraper khusus adalah kode yang dibuat untuk mengekstrak data dari situs kompetitor tertentu dan mengirimkannya dalam format yang tepat bagi tim Anda. Scraper dapat memantau situs publik mana pun, mengambil setiap kolom yang terlihat, berjalan sesuai jadwal Anda, serta mengalirkan data langsung ke database atau alat BI. Biaya penyiapannya lebih tinggi daripada langganan SaaS, biasanya mulai dari US$259 untuk scraper satu situs ditambah pembaruan berkelanjutan, tetapi Anda mengendalikan prosesnya. Pendekatan ini cocok untuk bisnis dengan daftar kompetitor yang unik, katalog produk yang kompleks, atau kebutuhan kepatuhan tertentu. Konsekuensinya adalah pemeliharaan: ketika sebuah situs didesain ulang, scraper perlu diperbarui, meskipun banyak penyedia memasukkan perbaikan dalam langganan mereka.

Sebagian besar peritel menengah menggabungkan beberapa metode: software untuk kompetitor utama, scraper khusus untuk pemain regional atau niche, serta pengecekan manual sesekali untuk pengecualian.

Pencocokan Produk: Menghubungkan SKU Anda dengan SKU Mereka

Pengumpulan harga hanya berguna jika Anda mengetahui produk mana yang sesuai dengan listing milik kompetitor. Pencocokan merupakan bagian tersulit dalam pelacakan harga kompetitor dan titik kegagalan bagi sebagian besar proses manual.

Identitas Standar: EAN, UPC, GTIN

European Article Number (EAN), Universal Product Code (UPC), dan Global Trade Item Number (GTIN) adalah kode batang numerik yang mengidentifikasi produk secara unik. Jika katalog Anda dan kompetitor sama-sama menggunakannya, pencocokan dapat dilakukan secara otomatis dan andal. Ini efektif untuk elektronik konsumen, buku, produk kebutuhan sehari-hari bermerek, serta barang manufaktur lain yang dijual oleh banyak peritel. Kendalanya, tidak semua situs menampilkan kode tersebut secara publik. Ada yang menyimpannya dalam metadata halaman atau tidak menampilkannya sama sekali, sementara produk private label atau tanpa merek sering kali tidak memiliki identitas standar.

Nomor Suku Cadang Produsen dan SKU

Nomor suku cadang produsen atau manufacturer part number (MPN) adalah identitas andal lainnya, khususnya di pasar otomotif, industri, dan B2B. Berbeda dengan kode EAN, MPN tidak selalu distandarkan secara global sehingga suku cadang yang sama dapat muncul dengan variasi penulisan. SKU internal tidak berguna untuk pencocokan kecuali Anda memiliki tabel pemetaan yang menghubungkan SKU Anda dengan SKU tiap kompetitor. Ini memerlukan penyiapan manual dan pemeliharaan berkelanjutan saat kompetitor menambah atau menghentikan produk.

Pencocokan Berbasis Atribut

Ketika identitas produk tidak tersedia atau tidak andal, pencocokan dilakukan berdasarkan atribut produk: merek, model, ukuran, warna, dan spesifikasi lain. Scraper mengambil kolom tersebut, lalu sistem Anda membandingkannya dengan katalog menggunakan pencocokan persis atau fuzzy matching. Contohnya, "Samsung Galaxy S23 128GB Black" perlu dicocokkan dengan "Samsung S23 (128GB) - Black" meskipun formatnya berbeda. Pencocokan berbasis atribut menimbulkan ambiguitas karena dua produk dapat mirip tetapi tidak identik. Karena itu, sebagian besar sistem memberikan skor keyakinan dan menandai hasil yang meragukan untuk ditinjau secara manual. Metode ini umum digunakan dalam kategori fesyen, furnitur, dan kategori lain yang produknya tidak memiliki kode batang.

Dalam praktiknya, gunakan hierarki: cocokkan berdasarkan EAN atau MPN terlebih dahulu, gunakan atribut sebagai alternatif, lalu verifikasi secara manual untuk produk bernilai tinggi atau peluncuran produk baru.

Frekuensi Pembaruan dan Faktor Penentunya

Seberapa sering Anda membutuhkan data terbaru bergantung pada volatilitas pasar dan strategi repricing Anda. Pembaruan yang lebih sering membutuhkan komputasi lebih besar dan meningkatkan risiko memicu mekanisme anti-bot, sehingga tujuannya adalah menentukan frekuensi minimum agar tetap kompetitif.

• Setiap jam atau real-time: Digunakan pada kategori yang sangat kompetitif, seperti elektronik konsumen saat periode promo, atau pasar dinamis seperti perjalanan dan bahan bakar. Scraper khusus dapat berjalan setiap beberapa jam jika perlindungan situs mengizinkan.
• Harian: Standar untuk e-commerce dan ritel. Harga dapat berubah dalam semalam, dan pembaruan harian memungkinkan tim melakukan penyesuaian sebelum hari kerja dimulai. Ini merupakan titik seimbang antara biaya dan kecepatan respons.
• Mingguan: Cukup untuk pasar yang stabil seperti perlengkapan B2B, furnitur, atau suku cadang otomotif, ketika harga bergerak lambat dan hubungan bisnis lebih penting daripada selisih beberapa persen.
• Bulanan atau sesuai permintaan: Cocok untuk pemeriksaan sesekali, audit, atau industri dengan harga berbasis kontrak yang jarang berubah.

Jadwal pembaruan juga memengaruhi cara Anda menangani perlindungan situs. Scraping agresif, seperti mengakses situs yang sama setiap jam, meningkatkan kemungkinan rate limiting atau CAPTCHA. Merotasi user agent, memberi jeda antarpermintaan, dan menggunakan proxy dapat membantu, tetapi tetap berada dalam batas toleransi implisit situs adalah bagian dari pengumpulan data yang bertanggung jawab. Jika Anda mengumpulkan data dari puluhan kompetitor, atur jadwal secara bergantian agar tidak semua scraper berjalan pada saat yang sama.

Melacak Stok dan Promosi

Harga kompetitor hanya bermakna jika produknya benar-benar tersedia. Status stok dan penanda promosi memberikan konteks untuk mencegah keputusan yang keliru.

Sebagian besar situs e-commerce menampilkan status stok dalam bentuk tertentu: "Tersedia", "Stok Menipis", "Habis", "Pre-Order", atau jumlah unit tertentu. Scraper Anda sebaiknya mengambil kolom ini bersama harga. Jika kompetitor menampilkan harga Rp3.000.000 tetapi produk habis, mereka sebenarnya tidak sedang bersaing untuk SKU tersebut dan Anda tidak perlu menurunkan harga untuk menyamainya. Sebagian peritel menyembunyikan status stok dari scraper atau hanya menampilkan pesan umum seperti "Tersedia". Dalam situasi itu, Anda dapat menyimpulkan ketersediaan dari aktif tidaknya tombol "Tambah ke Keranjang" atau apakah produk dialihkan ke halaman produk yang sudah dihentikan.

Promosi lebih sulit distandarkan. Diskon dapat muncul sebagai harga coret, lencana persentase, kode kupon, atau penawaran pembelian dalam jumlah tertentu. Konfigurasi scraping yang baik mengambil harga saat ini dan harga awal jika ditampilkan, teks promosi, serta masa berlaku jika terlihat. Hal ini memungkinkan analis membedakan penurunan harga permanen dari promo kilat akhir pekan. Beberapa peritel menggunakan JavaScript untuk menghitung diskon di sisi klien, sehingga scraper perlu merender halaman atau menjalankan skrip untuk melihat angka akhirnya.

Di sektor ritel kebutuhan sehari-hari, penawaran seperti "Beli 2 Rp50.000" atau bundel paket hemat dapat menyulitkan perbandingan. Jika sistem Anda tidak mengekstrak dan menormalkannya menjadi harga per unit, Anda dapat melewatkan fakta bahwa harga daftar kompetitor yang lebih tinggi sebenarnya lebih murah saat promosi berlaku.

Batas Hukum dan Etika dalam Pemantauan Harga Ritel

Pengumpulan harga yang terlihat secara publik dari situs kompetitor perlu dilakukan dengan memperhatikan aturan akses situs, ketentuan penggunaan, serta ketentuan perlindungan data yang berlaku di Indonesia.

Di Indonesia, pemantauan katalog dan harga produk publik umumnya tidak berkaitan dengan data pribadi. Namun, praktik pengumpulan data tetap tidak boleh dilakukan dengan cara yang melanggar akses sistem, mengabaikan pembatasan teknis, menggunakan kredensial pihak lain, atau menimbulkan gangguan pada layanan situs.

UU PDP mengatur pemrosesan data pribadi. Jika scraper Anda turut mengambil nama penjual perorangan, alamat email, nomor telepon, ulasan pengguna, atau informasi lain yang dapat mengidentifikasi seseorang, Anda perlu memastikan dasar pemrosesan yang sesuai dan menerapkan prinsip pembatasan data. Mengambil katalog atau harga tidak selalu melibatkan data pribadi, tetapi risikonya meningkat apabila Anda secara berulang mengambil sebagian besar katalog kompetitor atau data tambahan yang tidak diperlukan. Dalam kondisi tersebut, risiko hukum meningkat.

Secara praktis, ikuti aturan berikut: patuhi robots.txt dan batas permintaan, jangan menciptakan beban server yang dapat dianggap mengganggu layanan, jangan pernah masuk ke akun yang bukan milik Anda, dan hindari pengumpulan data pribadi kecuali Anda memiliki dasar yang sah serta memenuhi kewajiban yang relevan. Sebagian besar pemantauan kompetitor dapat dilakukan dalam batas yang aman bila dilakukan secara bertanggung jawab. Namun, jika kasus penggunaan Anda mencakup scraping di balik login, akses data harga yang ditandai rahasia, atau integrasi data pelanggan pribadi, konsultasikan dengan penasihat hukum sebelum melanjutkan.

Mengirimkan Data ke Tim Anda: Format dan Integrasi

Data harga mentah tidak berguna sampai data tersebut sampai kepada orang yang mengambil keputusan repricing. Format pengiriman dan integrasi menentukan apakah sistem pemantauan Anda digunakan atau diabaikan.

Spreadsheet dan Dashboard

Untuk tim kecil, ekspor CSV harian atau integrasi Google Sheets sering kali sudah cukup. Scraper berjalan pada malam hari, menambahkan harga baru ke spreadsheet, lalu manajer pricing meninjaunya pada pagi hari. Ini bekerja baik untuk repricing manual atau kategori dengan perubahan harga lambat. Kekurangannya, spreadsheet tidak dapat berkembang tanpa batas. Ketika Anda melacak ribuan SKU dari puluhan kompetitor, proses memfilter dan membuat pivot menjadi lambat serta rentan kesalahan.

Alat BI dan Database

Peritel menengah dapat mengirim data hasil scraping ke platform business intelligence seperti Tableau, Power BI, atau Looker, maupun langsung ke database SQL yang memasok dashboard internal mereka. Ini memungkinkan analis memeriksa data berdasarkan kategori, membandingkan tren dari waktu ke waktu, dan membuat notifikasi ketika kompetitor menjual lebih murah melebihi ambang persentase tertentu. Scraper khusus dapat mengirim JSON atau CSV ke endpoint API, menulis langsung ke database PostgreSQL atau MySQL, atau memicu webhook yang digunakan sistem Anda. Pendekatan ini membutuhkan penyiapan lebih besar, tetapi dapat berkembang hingga ratusan ribu produk.

Otomatisasi Repricing

Sebagian bisnis mengalirkan harga kompetitor langsung ke mesin repricing otomatis. Scraper memperbarui database, software repricing membacanya, menerapkan aturan seperti "tetap 2% di bawah kompetitor termurah" atau "samakan dengan pemimpin pasar, tetapi jangan pernah di bawah harga pokok", lalu mengirim harga baru ke platform e-commerce melalui API. Praktik ini umum di Tokopedia, Shopee, dan marketplace lain yang harganya berubah beberapa kali dalam sehari. Risikonya, tanpa pengaman seperti margin minimum, batas perubahan harga maksimum, dan persetujuan manual untuk SKU bernilai tinggi, Anda dapat terjebak dalam perang harga atau tanpa sengaja menjual produk rugi akibat kesalahan scraper.

Apa pun format yang dipilih, sertakan metadata dalam ekspor: stempel waktu, nama kompetitor, tingkat keyakinan pencocokan produk, status stok, dan peringatan apa pun. Konteks ini membantu tim Anda mempercayai data dan menyelidiki anomali.

Membangun Sistem Khusus dan Bekerja Sama dengan Kodrana

Jika alat siap pakai tidak mencakup kompetitor Anda atau kebutuhan integrasi Anda bersifat spesifik, sistem khusus memberi Anda kendali penuh. Proses pembangunan umumnya dimulai dengan membuat daftar kompetitor dan titik data yang dibutuhkan, seperti harga, stok, promosi, identitas produk, serta biaya pengiriman. Prioritaskan berdasarkan dampak; Anda tidak perlu melacak setiap kolom sejak hari pertama. Selanjutnya, petakan katalog produk Anda ke SKU kompetitor dengan mengidentifikasi produk yang memiliki kode EAN atau MPN dan produk yang memerlukan pencocokan atribut. Tahap ini biasanya memakan waktu lebih lama daripada proses scraping itu sendiri. Pilih metode pengiriman, baik database, API, spreadsheet, atau alat BI, karena keputusan ini memengaruhi struktur output scraper dan tempat penyimpanan data historis.

Bangun atau pesan scraper untuk tiap situs kompetitor. Jika Anda menggunakan scraper siap pakai, periksa apakah kompetitor Anda sudah tercakup. Jika belum, developer biasanya dapat membangun scraper untuk situs baru dalam dua hingga lima hari kerja. Atur penjadwalan dan pemantauan: tentukan frekuensi pembaruan, konfigurasikan percobaan ulang untuk kegagalan sementara, dan tambahkan notifikasi saat scraper berhenti mengembalikan data atau situs kompetitor memblokir permintaan Anda. Lakukan validasi dan iterasi dengan menjalankan sistem selama seminggu secara paralel dengan proses saat ini. Periksa akurasi pencocokan, cek harga secara manual, lalu sesuaikan aturan pencocokan dan logika scraping berdasarkan temuan Anda.

Pemeliharaan berkelanjutan merupakan bagian dari biaya. Situs kompetitor dapat melakukan desain ulang setiap beberapa bulan sehingga scraper tidak lagi berfungsi. Sistem pemantauan yang andal mencakup pemeriksaan otomatis untuk mendeteksi data scraping yang tampak keliru, seperti harga yang tiba-tiba menjadi nol, kolom yang hilang, atau tidak adanya pembaruan selama beberapa hari, lalu memberi peringatan agar Anda dapat menyelidikinya.

Kodrana membangun sistem pemantauan harga kompetitor mulai dari US$259 ditambah langganan untuk pembaruan harian atau mingguan. Sebelum Anda membayar, kirimkan situs kompetitor dan kolom data yang dibutuhkan; kami memeriksa perlindungan situs dan mengirimkan sampel gratis berisi 50–100 data. Pengiriman tersedia dalam format CSV, Excel, JSON, Google Sheets, API, atau langsung ke database maupun alat BI Anda. Langganan mencakup perbaikan dalam 48 jam ketika situs berubah.