Co to je
SEO crawler (SEO je optimalizace pro vyhledávače), jinak též SEO spider, je nástroj, který na webu sleduje odkazy a načítá stránky postupně, podobně jako robot vyhledávače. U každé stránky zjistí údaje, jako jsou stavový kód (číselná odpověď serveru, například zda stránka existuje, nebo byla přesunuta), titulek, nadpisy nebo přesměrování, a přehledně je vypíše do tabulky.
Proč na tom záleží
Používají ho SEO specialisté, vývojáři i správci webů při auditech, před přesunem webu a při hledání nefunkčních odkazů či duplicitních textů.
Modelový příklad
Před spuštěním nového webu firma pustí crawler na testovací verzi a zjistí, že několik stránek odkazuje na neexistující adresy.
Co byste měli vědět
- Crawler nevidí web přesně tak jako zákazník ani přesně tak jako vyhledávač. Výsledky musí vyhodnotit člověk.
- Na větším webu může zatížit server, proto nastavte rozumnou rychlost procházení.