Verkkosivujen tiedonkeruu: sivuilta käyttökelpoiseksi dataksi

Mitä verkkosivujen tiedonkeruu ja datan poiminta ovat?

Verkkosivujen tiedonkeruuta ja datan poimintaa käytetään usein synonyymeina, mutta niiden välillä on hyödyllinen ero. Verkkosivujen tiedonkeruu tarkoittaa tietojen lukemista verkkosivuilta tai julkisista verkkopalveluiden käyttöliittymistä. Datan poiminta on laajempi liiketoimintatehtävä: tietojen keräämistä, puhdistamista, jäsentämistä ja toimittamista lähteestä niin, että niitä voidaan käyttää muualla. Scraper on ohjelmisto, joka tekee keräyksen määrittämiesi sääntöjen mukaan.

Esimerkiksi vähittäiskauppias voi tarvita päivittäisen taulukon kilpailijoiden tuotteen nimistä, saatavuustiedoista, ilmoitetuista hinnoista, URL-osoitteista ja keräyspäivistä. Scraper kerää nämä julkiset kentät, minkä jälkeen poimintaprosessi yhdistää tuotteet, yhdenmukaistaa valuutat tai pakkauskoot, poistaa kaksoiskappaleet ja toimittaa tuloksen taulukkolaskentaan, tietokantaan tai hinnoittelujärjestelmään. Julkinen markkinapaikkailmoitus, asuntoilmoitus, työpaikkailmoitus tai arvostelusivu voi toimia lähteenä, kunhan projekti on lainmukainen ja noudattaa sivuston sääntöjä sekä teknisiä rajoituksia.

Scraper ei välttämättä ole oikea ratkaisu, jos lähde tarjoaa luotettavan API-rajapinnan, jossa ovat tarvitsemasi kentät ja käyttöoikeudet. API-rajapinnat on suunniteltu järjestelmien väliseen tiedonsiirtoon, kun taas verkkosivujen tiedonkeruu lukee julkisesti esitettyä verkkosivudataa. Käytännön eroja käsitellään artikkelissa API-rajapinta vai verkkosivujen tiedonkeruu.

Mitä tiedonkeruu ei ole

• Se ei anna lupaa päästä yksityisiin hallintapaneeleihin, maksulliseen sisältöön, kirjautumista vaativille sivuille tai toisen henkilön tilille.
• Se ei ole tapa kerätä henkilötietoja ilman lainmukaista perustetta, asianmukaisia ilmoituksia ja sopivaa vaatimustenmukaisuuden arviointia.
• Se ei ole kertaluonteinen tekninen tehtävä, jos lähde muuttuu säännöllisesti. Sivustot muuttavat sivujen rakenteita, tuoterakenteita ja saatavuustietoja.
• Se ei tarkoita koko verkkosivuston kopioimista. Hyvin rajattu projekti kerää vain liiketoimintatarkoituksen kannalta tarvittavat määritellyt julkiset kentät.

Näin scraper toimii vaihe vaiheelta

Luotettava tiedonkeruuprojekti alkaa määrittelystä, ei koodista. Liiketoimintatiimin tulee tunnistaa lähteet, tarkat kentät, maantieteellinen kattavuus, suodattimet, keräystiheys, volyymi ja suunniteltu kohdejärjestelmä. Pyyntö "kerää kilpailijoiden hinnat" on liian laaja, kun taas "kerää joka aamu julkisesti ilmoitetut hinnat, myyjien nimet ja saatavuusmerkinnät 2 000 yhdistetylle SKU:lle" on toteutuskelpoinen.

1. Määritä tietomalli. Luettele jokainen sarake, sen muoto ja esimerkkiarvo. Sisällytä lähde-URL ja keräyksen aikaleima, jotta tulos voidaan auditoida.
2. Tunnista julkiset sivut, joilla tarvittavat tiedot ovat saatavilla. Näitä voivat olla hakutulossivut, kategoriasivut, yksittäiset tuotesivut tai julkiset hakemistot.
3. Hae sallitut julkiset sivut hallitulla nopeudella. Keräysprosessin tulee minimoida tarpeettomat pyynnöt ja välttää kohtuutonta kuormitusta lähdesivustolle.
4. Lue olennaiset sivuelementit tai julkiset datavastaukset ja poimi määritellyt kentät. Scraper voi seurata sivutusta ja yksittäisten ilmoitusten linkkejä, jos ne kuuluvat hyväksyttyyn rajaukseen.
5. Tarkista ja puhdista tulokset. Tämä tarkoittaa tavallisesti päivämäärien yhdenmukaistamista, kaksoiskappaleiden poistamista, pakollisten kenttien tarkistamista ja poikkeavien arvojen merkitsemistä.
6. Yhdistä ja rikasta tietueita tarvittaessa. Hintaseurannassa tehtävään voi kuulua saman tuotteen yhdistäminen useiden jälleenmyyjien välillä SKU:n, mallinumeron tai muun luotettavan tunnisteen avulla.
7. Vie tai toimita aineisto. Prosessi voidaan tehdä kerran tutkimusprojektia varten tai toistaa päivittäin, viikoittain tai muulla sovitulla aikataululla.
8. Seuraa lähdettä ja tulostiedon laatua. Jos sivusto muuttaa julkisten sivujensa rakennetta, poimintasääntöjä voidaan joutua ylläpitämään.

Keräysmenetelmä riippuu verkkosivustosta. Joillakin sivuilla olennainen teksti on suoraan alkuperäisessä HTML:ssä, kun taas toisilla julkiset listaukset latautuvat vasta sivun avauduttua. Liiketoiminnan kannalta olennaista ei ole tekninen toteutustapa, vaan se, säilyykö lopullinen aineisto kattavana, jäljitettävänä ja johdonmukaisesti rakenteisena. Toistuvissa projekteissa datan laatutarkistuksista kannattaa sopia ennen keräyksen alkamista, ei vasta ensimmäisen viennin saavuttua.

Lähteissä, joissa on pääsynhallintaa tai bottisuojauksia, vastuullisen palveluntarjoajan tulee arvioida toteutettavuus sen sijaan, että se lupaisi pääsyn. Tällaiset toimet voivat osoittaa, ettei lähde halua automatisoitua liikennettä, ja ne voivat aiheuttaa teknisiä, sopimuksellisia ja oikeudellisia rajoitteita. Lue liiketoimintavaikutuksista lisää artikkelista verkkosivuston bottisuojaus.

Mitä tietoja yritykset keräävät ja miksi

Parhaat verkkosivujen tiedonkeruuprojektit vastaavat toistuvaan päätöksentekokysymykseen. Data, jolla ei ole omistajaa tai siihen liittyvää päätöstä, muuttuu helposti taas yhdeksi taulukoksi, jota kukaan ei avaa. Aloita päätöksestä ja määritä sen jälkeen pienin hyödyllinen kenttäjoukko.

Julkisen datan yleisiä käyttökohteita

• Hintojen ja valikoiman seuranta: tuotteen nimi, malli tai SKU, ilmoitettu hinta, alennus, saatavuusindikaattori, myyjä, URL ja keräyspäivä. Tiimit käyttävät tietoja asemoinnin, valikoimapuutteiden ja saatavuuden tarkasteluun julkisissa jälleenmyyjälistauksissa. Katso tyypillinen käyttökohde palvelusta kilpailijoiden hintaseuranta.
• Markkinapaikkatutkimus: julkiset tuotelistaukset, kategoriat, myyjätarjoukset, arviot ja arvostelujen määrät. Tiedot voivat ohjata valikoimaa, tuotekatalogin painopisteitä ja markkinoilletulon tutkimusta. Sopivia lähteitä löytyy markkinapaikkascraperien kategoriasta.
• Asuntomarkkinoiden analyysi: julkinen ilmoituksen sijainti, asuntotyyppi, pyyntihinta, huonemäärä, ilmoituksen tila, välittäjä ja ilmoituspäivä. Analyytikot voivat käyttää tietoja tarjonnan ja ilmoitettujen hintojen muutosten seuraamiseen henkilötietoja välttäen.
• Työmarkkinatieto: julkinen tehtävänimike, työnantaja, sijainti, palkka silloin kun se ilmoitetaan, osaamisvaatimukset, sopimustyyppi ja julkaisupäivä. Tämä auttaa rekrytointitiimejä ja henkilöstösuunnittelijoita ymmärtämään näkyvää kysyntää.
• Maineen analysointi: julkinen arvosteluteksti, arvosana, arvostelupäivä sekä sijainti- tai tuotekonteksti. Painopisteen tulee olla koontitason ilmiöissä, toistuvissa valituksissa ja palveluteemoissa, ei yksittäisten arvioijien tunnistamisessa.
• Hakemisto- ja paikallismarkkinatutkimus: julkinen yrityksen nimi, toimiala, verkkosivusto, osoite ja julkisesti ilmoitetut yrityksen yhteystiedot. Ennen yhteydenottoja tarvitaan huolellinen tietosuoja- ja markkinointilainsäädännön arviointi.

Käytä tunnistetta aina, kun se on mahdollista. Pelkkä tuotteen URL voi muuttua, mutta valmistajan osanumero, SKU tai pysyvä ilmoitustunnus tekee yhdistämisestä luotettavampaa. Säilytä myös alkuperäinen lähdearvo puhdistettujen kenttien rinnalla. Jos hinta näyttää poikkeavalta, analyytikon tulee voida nähdä alkuperäinen merkintä ja lähdesivu sen sijaan, että hän luottaa muunnettuun lukuun ilman auditointijälkeä.

CSV, Excel, JSON, Google Sheets, API vai webhook?

Tulostusmuoto vaikuttaa siihen, kuka voi käyttää dataa ja kuinka nopeasti siitä tulee hyödyllistä. Oikea valinta määräytyy usein vastaanottavan tiimin työnkulun, ei itse scraperin perusteella.

• CSV sopii hyvin suuriin, yksinkertaisiin taulukoihin sekä tuontiin analytiikkatyökaluihin, tietokantoihin ja moniin liiketoimintajärjestelmiin. Se on kevyt muoto, mutta ei säilytä taulukkolaskennan kaavoja tai rikasta muotoilua.
• Excel on hyödyllinen, kun kaupallisten tiimien pitää avata, suodattaa, kommentoida ja jakaa tuttu tiedosto. Se soveltuu tavallisesti parhaiten rajattuun vientiin tai ihmisen tekemään tarkistukseen.
• JSON soveltuu sisäkkäisiin tietueisiin ja kehittäjävetoisiin integraatioihin. Esimerkiksi kiinteistötietue, jossa on kuvia, ominaisuuksia ja useita välittäjiä, voi sopia JSON-muotoon paremmin kuin tasaiseen taulukkoon.
• Google Sheets on käytännöllinen yhteiseen operatiiviseen seurantaan, pienempiin aineistoihin ja tiimeille, jotka käyttävät jo taulukkolaskentapohjaisia prosesseja. Määritä muokkausten omistaja, jotta lähdedataa ei kirjoiteta yli.
• API sopii tilanteisiin, joissa toinen sovellus tarvitsee rakenteista dataa ohjelmallisesti. Se edellyttää selkeää skeemaa, tunnistautumistapaa ja sovittuja päivityskäytäntöjä.
• Webhook lähettää jokaisen valmistuneen erän tai tapahtuman automaattisesti kohteeseen. Se voi vähentää manuaalista käsittelyä, kun CRM, tietokanta tai sisäinen työnkulku tarvitsee tuoreita tietueita.

Toistuvissa projekteissa pyydä datasanakirja: lyhyt asiakirja, jossa määritellään jokainen kenttä, tietotyyppi, sallitut arvot, päivitysaikataulu ja puuttuvien arvojen esitystapa. Näin vältetään esimerkiksi tilanne, jossa tyhjä saatavuuskenttä tulkitaan merkinnäksi "varastossa" tai puuttuva hinta nollaksi. Kodrana voi toimittaa poimintatulokset CSV-, Excel-, JSON- tai Google Sheets -muodossa, API-rajapinnan tai webhookin kautta tai suoraan CRM:ään tai tietokantaan osana määriteltyä työnkulkua.

Valmis scraper, räätälöity scraper vai hallinnoitu palvelu?

Käytännössä vaihtoehtoja on kolme, eikä pienin aloituskustannus aina tarkoita pienintä operatiivista kustannusta. Arvioi lähteen vakautta, volyymia, päivitystiheyttä, organisaation teknistä kapasiteettia sekä virheelliseen tai vanhentuneeseen dataan perustuvien toimien kustannusta.

Milloin mikäkin vaihtoehto sopii

• Valmis scraper sopii, kun lähde ja kentät ovat vakiomuotoisia, työkalua voidaan käyttää sisäisesti ja tulos tarvitsee vain vähän muunnoksia. Kodranalla on valmiiden scraperien luettelo, joka kattaa yli 5 400 verkkosivustoa.
• Räätälöity scraper sopii, kun tarvitset tietyn sivuston, poikkeavia suodattimia, kenttälogiikkaa, tietueiden yhdistämistä tai toimituksen omaan järjestelmääsi. Se on hyödyllinen myös silloin, kun tuloksen täytyy vastata sisäistä tietomalliasi yleisen mallipohjan sijaan.
• Hallinnoitu datanpoimintapalvelu sopii, kun tiimisi haluaa määritellyn aineiston ja aikataulun ilman keräyslogiikan ylläpitoa. Se sopii erityisesti toistuvaan seurantaan, laatutarkistuksiin ja lähteiden muutoksiin.
• Manuaalinen tutkimus sopii pieniin ja harvoin toistuviin pyyntöihin, joissa käyttöönoton työmäärä ylittäisi automatisoinnin hyödyn. Aseta raja etukäteen: lähteiden, tietueiden tai toistuvien raportointikierrosten määrä, jonka jälkeen työ automatisoidaan.

Enintään 10 000 tietueen kertaviennille Kodrana ilmoittaa hinnat alkaen 229 €, 359 € tai 629 € sivuston suojauksesta riippuen. Viikoittaiset päivitykset alkavat 129 €/kk ja päivittäiset päivitykset 269 €/kk, minkä lisäksi veloitetaan kertaluonteinen käyttöönotto. Tilaus sisältää korjaukset 48 tunnin sisällä sivuston muuttuessa, datan tallennuksen ja tuen. Uudelle sivustolle ilmoitettu kehitysaika on 2–5 arkipäivää, mutta rajaus, pääsy lähteeseen ja datasäännöt tulee silti vahvistaa ennen aikatauluun sitoutumista.

Hyödyllinen hankintamäärittely kertoo, miltä onnistuminen näyttää: lähdedomainit, julkiset sivut tai hakukriteerit, sarakkeet, volyymi, esimerkkitietueet, aikataulu, tuloksen kohde, hyväksymistarkistukset ja nimetty liiketoimintavastuuhenkilö. Tarkempaa ohjeistusta budjetointiin ja rajaukseen löytyy artikkelista verkkosivujen tiedonkeruuprojektin kustannukset.

Rajoitukset, oikeudelliset näkökohdat ja operatiiviset riskit

Julkisesti näkyvä tieto ei automaattisesti tarkoita rajoittamatonta käyttöoikeutta. Verkkosivuston käyttöehdot, immateriaalioikeudet, tietosuojalainsäädäntö, sopimusoikeus ja tekniset pääsysäännöt voivat kaikki olla merkityksellisiä. Yhdysvalloissa Computer Fraud and Abuse Act voi liittyä luvattomaan pääsyyn. Isossa-Britanniassa Computer Misuse Act 1990 koskee luvatonta pääsyä. Tosiseikat riippuvat vahvasti lähteestä, toimintatavasta ja lainkäyttöalueesta, joten pyydä pätevän juristin neuvoa omaan käyttötapaukseesi.

Tietosuoja vaatii erillistä huomiota. Jos tiedoista voidaan tunnistaa elävä henkilö, GDPR voi soveltua EU:n henkilötietoihin. Julkinenkin tieto voi olla henkilötietoa. Älä oleta, että julkisen profiilin, arvostelun tai hakemistomerkinnän voi kerätä ja käyttää uudelleen myynnin prospektointiin arvioimatta käsittelyn oikeusperustetta, läpinäkyvyyttä, säilytysaikaa, tietoturvaa ja sovellettavia markkinointisääntöjä.

Tekijänoikeus voi suojata sivujen sisältöä ja kuvia. EU:ssa tietokantasuoja voi lisäksi suojata merkittäviä investointeja tietokannan sisällön hankintaan, tarkistamiseen tai esittämiseen. Älä käsittele kerättyä aineistoa sisältönä, jonka voi julkaista vapaasti uudelleen. Kerää vain ilmoitettua analyysitarkoitusta palvelevat tiedot, säilytä niitä vain tarpeellisen ajan ja säilytä lähdeviittaukset tarvittaessa. Laajempi johdanto aiheeseen löytyy artikkelista verkkosivujen tiedonkeruun oikeudellinen ohjeistus.

• Käyttöehdot ja pääsy: tarkista verkkosivuston käyttöehdot, robots-ohjeistus silloin kun se on saatavilla, sopimukselliset rajoitukset ja se, onko virallinen API-rajapinta saatavilla.
• Tekninen kestävyys: sivujen ulkoasut, URL-osoitteet, merkinnät ja kategoriat muuttuvat. Sisällytä toistuvaan projektiin seuranta, otantatarkistukset ja korjausprosessi.
• Datan laatu: julkiset listaukset voivat olla vanhentuneita, puutteellisia, päällekkäisiä tai epäjohdonmukaisia. Käsittele verkkodataa havaittuna signaalina, älä automaattisesti kiistattomana totuutena.
• Tietoturva: rajoita pääsy vienteihin, käytä tarkoituksenmukaisia säilytysaikoja ja vältä ulkoisen datan yhdistämistä arkaluonteisiin sisäisiin aineistoihin ilman hallintakeinoja.
• Maine ja kuormitus: käytä maltillista keräysnopeutta, vältä häiriöitä äläkä koskaan yritä kiertää kirjautumisia, maksumuureja tai suojatoimia.

Kodrana ilmoittaa keräävänsä vain julkisesti saatavilla olevaa dataa, ettei se kirjaudu muiden henkilöiden tileille, ettei se kerää henkilötietoja ja että se pitää verkkosivustoihin kohdistuvan kuormituksen vähäisenä. Nämä rajat ovat hyödyllisiä projektin suuntaviivoja, mutta ne eivät korvaa oikeudellista arviointia, jos suunniteltu käyttö, maantieteellinen alue tai dataluokka luo lisävelvoitteita.

Näin aloitat datanpoimintaprojektin

Aloita pienellä validointiajolla. Näyte paljastaa epäselvät kentät, puuttuvat arvot ja yhdistämisongelmat ennen kuin ne muuttuvat laajassa mittakaavassa kalliiksi. Se antaa myös liiketoimintavastuuhenkilölle mahdollisuuden varmistaa, että tulos vastaa alkuperäiseen kysymykseen eikä vain näytä kattavalta.

1. Kirjaa yksi päätös, jota aineisto tukee, kuten viikoittainen hintakatsaus tai kuukausittainen paikallismarkkina-analyysi.
2. Nimeä julkiset lähteet ja kirjaa käyttöehdot, oikeudelliset tai sisäiset vaatimustenmukaisuusrajoitteet, jotka edellyttävät tarkistusta.
3. Määritä pakolliset ja valinnaiset kentät, mukaan lukien lähde-URL, keräysaika ja vakaa tunniste silloin kun sellainen on saatavilla.
4. Valitse alustava näytekoko ja hyväksymissäännöt, kuten pakollisten kenttien täyttöaste, kaksoiskappaleiden käsittely ja päivämäärämuoto.
5. Valitse toimitusmuoto ja vastaanottaja: analyytikko, taulukkolaskennan omistaja, CRM-ylläpitäjä tai kehitystiimi.
6. Päätä, onko tarve kertaluonteinen, viikoittainen vai päivittäinen, ja nimeä henkilö tarkistamaan poikkeamat ja datan laatua koskevat raportit.

Tiedonkeruuprojektista tulee usein arvokkaampi, kun se liitetään liiketoiminnan automatisointiin: hintahälytyksiin, varastotilanteiden vertailuihin, liidien reitityssääntöihin tai raportointinäkymiin. Jos datan tulee käynnistää sisäinen toimenpide sen sijaan, että se jää tiedostoon, huomioi suunnitteluvaiheessa laajempi liiketoiminnan automatisointipalvelu.

Käytännöllinen seuraava askel

Jos sinulla on julkinen verkkosivustolähde ja määritelty kenttäluettelo, Kodrana tarjoaa maksuttoman testin: lähetä sivusto ja tarvittavat kentät, ja tiimi tarkistaa sivuston suojauksen ennen kuin toimittaa maksutta 50–100 tietueen näytteen ennen maksua. Voit sitten verrata näytettä hyväksymiskriteereihisi ja pyytää tarjouksen kertaviennistä tai toistuvasta toimituksesta sitoutumatta ennen kuin näet, onko aineistosta hyötyä.