Co si pod tím představit.
Některé odpovědi se v běžných nástrojích nedají najít. Jak se v čase mění ceny na konkurenčních e-shopech? Jaké parametry produktů uvádějí ostatní prodejci? Pomohla nová stránka skutečně prodeji? Sběr veřejně dostupných dat a jejich analýza umožňuje takové otázky zodpovědět podle dat, nejen podle dojmů. Stejně tak pomůže tam, kde máte exporty objednávek nebo záznamy, které se do tabulky už nevejdou.
Pracujeme převážně v Pythonu. Nejdřív ověříme, zda je sběr dat přípustný: veřejnost zdroje, podmínky webu, rozumná zátěž a ochrana osobních údajů. Potom připravíme skripty, které data pravidelně stahují, čistí a ukládají do podoby, se kterou se dá pracovat. V analýze pomáháme formulovat hypotézy, vybrat způsob srovnání a poctivě vyhodnotit, co se po změně skutečně stalo. Neslibujeme obcházení technických ochran ani sběr dat, která nejsou určena veřejnosti.
Kdy vám služba pomůže.
- Sledujete ceny konkurence ručně, přehled je neúplný a rozhodnutí o cenách se opírá o náhodné kontroly.
- Chcete porovnat obsah, strukturu nebo parametry produktů na více webech, aby bylo jasné, kde nabídka zaostává.
- Po změně webu, ceníku nebo reklamy potřebujete poctivě vyhodnotit, zda se výsledky skutečně zlepšily.
Co budete mít v ruce.
Návrh sběru veřejných dat s ohledem na podmínky jejich zdrojů
Zpracovaný datový soubor a skripty pro opakované spuštění
Analýza, hypotézy a vyhodnocení změn včetně popisu omezení dat
Konkrétní rozsah a způsob předání si potvrdíme v zadání. Budete vědět, co je součástí práce, jaké podklady potřebujeme a kdo schvaluje jednotlivé kroky.
Jak bude práce probíhat.
- Vymezíme otázku a zdroje
Stanovíme, na co chcete znát odpověď, a vybereme zdroje. U každého ověříme podmínky použití, technická omezení a vhodnou frekvenci stahování. Pokud sběr není vhodný nebo přípustný, navrhneme jinou cestu, například nákup dat nebo ruční vzorek.
- Postavíme sběr a zpracování
Napíšeme skripty pro stahování, čištění a ukládání dat. Řešíme změny struktury zdrojových stránek, chybějící hodnoty a duplicity. Výsledek předáme jako tabulku, databázi nebo pravidelný export spolu s popisem, jak skripty spouštět a kontrolovat.
- Analyzujeme a vysvětlíme závěry
Z dat připravíme přehledy a odpovědi na vaše otázky. U změn sledujeme výchozí stav, období před a po i další faktory, které mohly výsledek ovlivnit. Uvedeme, co data dokazují a co jen naznačují.
Modelový příklad
Představte si prodejce sportovního vybavení, který ručně sleduje ceny několika konkurentů. Skript každý den uloží veřejné ceny vybraných produktů do jedné tabulky. Po čase se ukáže, že konkurenti zlevňují v pravidelných vlnách. Prodejce pak může plánovat akce se znalostí rytmu trhu a vlastní marže.
Co budeme potřebovat od vás?
Konkrétní otázky, na které chcete znát odpověď, a přehled dostupných dat. Společně ověříme jejich kvalitu a možnosti využití.
Pokud něco chybí nebo zatím nevíte, kde podklady najít, projdeme to spolu. Na prvním rozhovoru stačí popsat vaši situaci a to, co se má zlepšit. Technické zadání doplníme s kolegy podle potřeby.
Na co se často ptáte.
Je scraping v pořádku?
Záleží na zdroji, způsobu sběru a typu dat. Veřejně dostupné údaje o produktech a cenách se zpravidla posuzují jinak než osobní údaje a chráněný obsah. Podmínky webu, autorské právo a ochranu osobních údajů je nutné posoudit u každého případu zvlášť. Pokud je pochybnost, doporučíme postup ověřit s právníkem nebo data raději nesbírat.
Můžeme data získávat průběžně?
Ano, skript lze nastavit na pravidelný běh a ukládání. Je ale nutné počítat s údržbou: zdrojové weby se mění a sběr se může přerušit. Domluvíme proto kontrolu výpadků a odpovědnost za opravy.
Jak se domluví cena a termín?
Nejdřív upřesníme rozsah a stav podkladů. Potom navrhneme postup, cenu a termíny jednotlivých kroků. U průběžné spolupráce se domluvíme i na kapacitě, prioritách a pravidelném vyhodnocování. Náklady na média, licence nebo výrobu odlišíme od naší práce, pokud jsou pro zadání potřeba.