Web scraping : comment extraire des données utiles

Web scraping : c'est quoi, concrètement ?

Un scraper est un programme qui visite des pages web, repère des éléments définis à l'avance et les organise dans un format exploitable. Il peut, par exemple, relever le nom d'un produit, son prix affiché, sa disponibilité et la date de collecte. À la différence d'une copie d'écran, le résultat est un tableau ou un flux de données que l'on peut comparer, filtrer ou intégrer à un autre outil.

La collecte peut porter sur une seule page ou sur un ensemble de pages publiques : fiches produit, annonces immobilières, offres d'emploi, avis ou résultats de recherche. Pour une entreprise qui se demande « web scraping c'est quoi ? », l'image la plus juste est celle d'un lecteur automatique, suivi d'un travail de mise en forme. Le scraper ne comprend pas nécessairement le sens des informations : il suit des règles pour reconnaître les champs recherchés.

Il ne faut pas confondre scraping et API. Une API est une interface prévue pour transmettre des données selon des règles et des formats documentés. Le scraping lit les pages telles qu'elles sont présentées au navigateur. Quand une API adaptée existe et que son accès est autorisé, elle est souvent plus stable ; sinon, l'extraction web peut répondre à un besoin que l'API ne couvre pas. Les deux approches peuvent aussi se compléter. Comparer API et scraping

Comment scraper un site, étape par étape

Un projet fiable commence par une question métier, pas par le choix d'un logiciel. « Collecter des prix » est trop vague : faut-il comparer un assortiment précis, suivre la disponibilité, repérer les frais de livraison ou conserver un historique ? Le périmètre détermine les champs, la fréquence et le niveau de contrôle nécessaires.

1. Définir le besoin et les sources. Listez les sites concernés, les pages utiles, les champs attendus et la décision que les données doivent aider à prendre. Vérifiez aussi qu'une source plus directe, comme un flux fournisseur ou une API autorisée, ne répond pas déjà au besoin.
2. Repérer les champs sur des pages réelles. Examinez des exemples variés : une fiche complète, une page sans prix, une annonce expirée ou un résultat avec une promotion. Cela révèle les valeurs absentes et les différences de présentation.
3. Choisir une méthode de collecte compatible avec les règles des sites. Un scraper peut parcourir les pages, identifier les éléments visés et suivre les liens nécessaires dans le périmètre prévu. Il faut respecter les CGU et ne pas chercher à contourner un compte, un paywall ou un dispositif de protection.
4. Extraire puis normaliser. Les montants, dates, unités, adresses et libellés doivent être harmonisés. Par exemple, un prix promotionnel accompagné d'un ancien prix, des décimales séparées par une virgule ou un point et des devises différentes ne doivent pas être confondus.
5. Contrôler les résultats et organiser les mises à jour. Comparez quelques enregistrements à leur page source, repérez les champs vides inattendus et définissez quoi faire lorsqu'une page disparaît ou change de structure.

La dernière étape est souvent sous-estimée. Une collecte correcte aujourd'hui peut devenir incomplète après une refonte, un changement de libellé ou une modification du parcours de navigation. Il faut donc prévoir des contrôles de cohérence et une procédure de correction, particulièrement lorsque les données alimentent un reporting ou un outil opérationnel.

Quelles données collecter, et pour quels usages ?

Les données utiles sont celles qui répondent à une décision clairement identifiée. Un site public n'est pas automatiquement une source pertinente : les champs peuvent être incomplets, les informations datées ou les catégories incompatibles avec votre référentiel. Commencez par un échantillon, puis confirmez que la couverture et la qualité sont suffisantes.

• Prix, promotions et disponibilité de produits, pour comparer une sélection définie et suivre les évolutions affichées. Un dispositif de suivi des prix concurrents peut aussi intégrer des règles de rapprochement entre références proches.
• Annonces immobilières : prix, surface, localisation et caractéristiques publiées, afin d'étudier une zone ou de suivre de nouvelles offres. Le périmètre dépend des sources retenues et de la manière dont leurs annonces sont structurées. Données immobilières
• Offres d'emploi, entreprises ou avis publics, pour organiser une veille, analyser des tendances ou compléter une recherche. Les catégories d'offres d'emploi et d'avis en ligne illustrent deux besoins différents, avec des champs et des précautions propres à chaque source.
• Informations de catalogue ou résultats de recherche, pour surveiller une gamme, préparer une analyse concurrentielle ou alimenter un jeu de données. Une extraction peut ensuite rejoindre un outil interne plutôt que rester dans un tableur.

Pour chaque champ, demandez-vous s'il est nécessaire, fiable sur la source et utilisable dans le cadre prévu. Les données personnelles appellent une vigilance particulière : la collecte doit respecter le RGPD et les recommandations de la CNIL. Kodrana indique collecter des données publiquement disponibles uniquement et ne pas collecter de données personnelles ; le fait qu'une information soit visible en ligne ne dispense pas, à lui seul, d'examiner les règles applicables à votre usage.

Formats de sortie : du tableau à l'intégration

Le format doit correspondre à l'étape suivante du travail. CSV convient aux tableaux simples et aux imports fréquents, mais gère moins bien les structures imbriquées. Excel est pratique pour une vérification humaine et une analyse ponctuelle. JSON représente mieux des champs complexes ou des objets associés, tandis qu'une API ou un webhook permet de transmettre les résultats à un système sans manipuler manuellement un fichier.

Choisir selon l'usage, pas par habitude

Avant de valider le format, précisez le nom des colonnes, l'encodage, les séparateurs, le format des dates, la devise, les champs facultatifs et le traitement des doublons. Pour un CRM ou une base de données, il faut aussi définir la clé qui permet de reconnaître un enregistrement déjà présent. Sans cette règle, chaque mise à jour peut créer des doublons ou écraser une information utile.

Une livraison directe dans un CRM ou une base est utile quand les données doivent déclencher une action, alimenter un tableau de bord ou rejoindre un processus existant. En revanche, une intégration plus poussée demande de clarifier les droits d'accès, la fréquence, les erreurs à signaler et le propriétaire des données. Les prestations d'extraction de données peuvent prévoir des sorties en CSV, Excel, JSON, Google Sheets, API ou webhook, ou un transfert direct vers un CRM ou une base.

Outil prêt à l'emploi, scraper sur mesure ou service

Il n'existe pas une méthode meilleure dans tous les cas. Le bon choix dépend du nombre de sources, de la fréquence, de la stabilité souhaitée, des compétences disponibles et du coût de maintenance. Un test court sur un échantillon permet souvent de vérifier les points difficiles avant de s'engager.

Comparer les trois options

• Un outil prêt à l'emploi ou no-code convient souvent à une extraction ponctuelle, à un site simple et à une équipe prête à contrôler les résultats. Vérifiez les limites de volume, les possibilités d'export et la gestion des changements de page. Pour des sources couvertes par un outil existant, un catalogue de scrapers prêts à l'emploi peut raccourcir la phase de recherche.
• Un scraper développé sur mesure est pertinent quand plusieurs sources doivent être rapprochées, que les données suivent des règles spécifiques ou qu'une intégration métier est nécessaire. Vous gagnez en contrôle, mais vous devez prévoir les tests, l'hébergement et la maintenance quand les sites évoluent.
• Un service de collecte externalisé peut convenir si votre équipe ne veut pas gérer le fonctionnement technique au quotidien. Demandez un échantillon, la liste des champs, le format livré, la fréquence et les modalités de correction. Comparez les options avec ce guide sur les outils et scrapers sur mesure.

Pour une collecte limitée à quelques pages et à un besoin ponctuel, un outil peut suffire. Pour un suivi récurrent dont les résultats influencent les prix, les achats ou la prospection, le coût des contrôles et des corrections compte autant que le coût de lancement. Kodrana dispose d'un catalogue de plus de 5 400 scrapers prêts à l'emploi et indique pouvoir créer un scraper pour un nouveau site en 2 à 5 jours ouvrés. Ces éléments donnent un point de comparaison, sans remplacer la vérification du périmètre réel.

Limites, risques et vérifications avant le lancement

Le scraping dépend de la structure et de l'accessibilité des pages. Un site peut modifier ses modèles, déplacer un champ, limiter les requêtes ou afficher des informations différemment selon la page. Les protections anti-bot et les conditions techniques varient aussi. Un projet sérieux anticipe ces limites : il ne promet pas une collecte permanente sans surveillance et ne doit pas chercher à contourner les protections d'un site.

Le cadre juridique doit être étudié avant de collecter, puis au regard de l'usage envisagé. Consultez les CGU des sites concernés et tenez compte du droit des producteurs de bases de données prévu par le Code de la propriété intellectuelle. Le RGPD et les recommandations de la CNIL doivent être examinés dès que le projet touche à des données personnelles, y compris lorsque la source est publique. Pour un cas d'usage précis, faites vérifier le projet par un avocat : cet article ne constitue pas un avis juridique. Faire le point sur la légalité

• Écrire la finalité de la collecte et justifier chaque champ demandé.
• Vérifier les CGU, les droits liés à la base et les règles sur les données personnelles avant de lancer le traitement.
• Définir une fréquence raisonnable et limiter la charge imposée aux sites ; arrêter la collecte si l'accès n'est pas autorisé.
• Tester un échantillon représentatif, contrôler les valeurs et prévoir une alerte en cas de données manquantes ou de changement de page.
• Documenter la conservation, les accès, les corrections et la personne responsable du traitement des résultats.

La qualité mérite autant d'attention que la conformité. Un prix peut être affiché sans frais annexes, une annonce peut être retirée sans disparaître immédiatement des résultats, et deux produits portant un nom proche peuvent être différents. Conservez la source et la date de collecte si elles sont nécessaires à votre contrôle interne, puis définissez des règles pour les données incertaines. En cas de doute, mieux vaut exclure une valeur que présenter une approximation comme une information vérifiée.

Passer du besoin à un premier test

Préparez un brief court : les sites visés, les champs attendus, quelques exemples de pages, le volume estimé, la fréquence et le format de livraison. Ajoutez l'usage prévu et les éventuelles intégrations. Cette préparation permet de comparer un outil, un développement sur mesure ou une prestation sur des critères concrets plutôt que sur une promesse générale.

Si vous envisagez un prestataire, demandez comment il valide l'échantillon, gère les changements de structure et traite les données incomplètes. Kodrana propose un échantillon gratuit de 50 à 100 enregistrements avant paiement : vous pouvez envoyer le site et les champs souhaités pour vérifier le résultat avant de décider si la collecte correspond à votre besoin.