Co to je
Robots.txt je malý textový soubor umístěný přímo pod hlavní doménou webu, tedy na adrese ve tvaru nazevwebu.cz/robots.txt. Je určen vyhledávacím robotům, tedy programům vyhledávače, které web automaticky procházejí a ukládají si jeho obsah. Obsahuje pravidla, kam by robot vstupovat neměl, třeba do administrace nebo košíku, a může odkazovat na mapu webu (sitemap), tedy seznam adres, který vyhledávači usnadňuje orientaci.
Proč na tom záleží
Soubor pomáhá nasměrovat roboty na důležitý obsah, aby neztráceli čas na neužitečných adresách. Je to ale jen žádost, nikoli zámek: slušní roboti ji dodržují, jiní ne. Chybné pravidlo navíc může omylem zablokovat procházení celého webu.
Modelový příklad
Autoservis spouští nový web a zapomene odstranit pravidlo z testovací verze, které robotům zakazuje procházet vše. Vyhledávač pak nemusí obsah stránek načíst, dokud se pravidlo neopraví a roboti web znovu neprojdou.
Co byste měli vědět
- Soubor si může přečíst kdokoli, kdo za adresu webu připíše /robots.txt, proto do něj nepište nic tajného.
- Po spuštění nebo přesunu webu zkontrolujte, že soubor nebrání procházení důležitých stránek.
- Zákaz procházení není totéž co zákaz zobrazení ve výsledcích; k tomu slouží značka noindex, která ale funguje jen u stránek, které robot smí otevřít.