Robots.txt generátor vám vytvoří soubor, víte ale, co skutečně říká crawlerům a kde jeho pravomoci končí?

Robots.txt generátor řeší technickou část tvorby souboru, ovšem bez vědomí, jak robots.txt funguje, se snadno vytvoří pravidla, která webu spíš uškodí než pomohou. Robots.txt patří mezi nejčastěji nepochopenou součást technického SEO. Správci webů ho buď ignorují úplně, nebo mu přisuzují schopnosti, které nemá. Co tedy robots.txt skutečně dělá, kde jeho vliv končí a které chyby v jeho nastavení se opakují napříč weby všech velikostí?

Co robots.txt je a kde ho najdete

Robots.txt je prostý textový soubor umístěný v kořenovém adresáři webu na adrese vasedomena.cz/robots.txt. Každý web ho má, nebo by mít měl. Soubor obsahuje instrukce pro crawlery vyhledávačů a dalších botů, které části webu smějí procházet a které ne.

Soubor čte prakticky každý crawler, který web navštíví, ať jde o Googlebot, Bingbot, ale také AI crawlery jako GPTBot nebo ClaudeBot. Syntaxe je jednoducháy direktiva User-agent určuje, pro kterého bota pravidlo platí, direktiva Disallow říká, co bot nesmí crawlovat, a direktiva Allow výslovně povoluje část jinak zablokované cesty.

Kde robots.txt najít a proč na umístění záleží

Soubor musí být přesně na adrese vasedomena.cz/robots.txt, jinak ho crawlery nenajdou. Soubor v podadresáři nebo na subdoméně platí jen pro danou subdoménu, ne pro celý web. Weby s více subdoménami proto potřebují samostatný robots.txt pro každou z nich.

Robots.txt blokuje crawlování, ne indexaci

Tohle je nejrozšířenější omyl, který má v praxi závažné důsledky. Robots.txt blokuje crawlování, tedy návštěvu URL crawlerem. Neblokuje indexaci, tedy zařazení stránky do výsledků vyhledávání.

Stránka zablokovaná v robots.txt se přesto může dostat do indexu Googlu. Stačí, aby na ni odkazovala jiná stránka, která zablokovaná není. Googlebot odkaz zaregistruje, URL si zapíše, ovšem stránku nenavštíví. Do indexu pak zařadí URL bez znalosti jejího obsahu, zpravidla s titulkem z odkazujícího textu a bez popisu. Výsledek vyhledávání je tak bez obsahu, který uživatele nikam nenavede.

Praktický důsledek záměny

Dejme tomu, že správce webu chce skrýt interní stránky před Googlem a přidá je do robots.txt. Stránky se v indexu přesto objeví, protože na ně vedou interní odkazy z webu. Správce nechápe proč a hledá chybu v robots.txt, přestože soubor funguje správně. Chybou je záměna nástroje: pro blokování indexace slouží direktiva noindex v meta tagu stránky, ne robots.txt.

Co robots.txt nedělá

Nezabrání indexaci. Jak popsáno výše, blokování crawlování a blokování indexace jsou dvě různé věci vyžadující různé nástroje.
Není závazný. Robots.txt je dobrovolný protokol. Seriózní crawlery jako Googlebot ho dodržují, ovšem škodliví boti, scrapers a malware ho ignorují. Robots.txt tedy nechrání obsah před neoprávněným kopírováním ani před crawlery, které pravidla nedodržují.
Nezabezpečí citlivý obsah. Blokování URL v robots.txt ji paradoxně zviditelní: soubor robots.txt je veřejně přístupný a útočník nebo konkurent ho přečte. Citlivé části webu jako administrace, interní dokumenty nebo testovací prostředí vyžadují přihlášení nebo jiný způsob zabezpečení, ne robots.txt.
Neplatí pro všechny boty stejně. Různí crawleři čtou robots.txt různě. Googlebot respektuje wildcards a direktivu Allow. Starší nebo méně sofistikované crawlery nemusejí wildcards zpracovat správně a mohou pravidla vyhodnotit odlišně.

Nejčastější chyby v robots.txt

Blokování CSS a JavaScript souborů

Google k vykreslení a pochopení obsahu stránky potřebuje přístup ke CSS a JavaScript souborům. Web, jehož robots.txt blokuje složku /wp-content/ nebo /assets/, zabrání Googlebotu načíst styly a skripty. Výsledkem je stránka, kterou crawler vidí jako prázdnou nebo rozbitou šablonu bez obsahu. Tato chyba se opakuje zejména u WordPress webů, kde administrátor omylem zablokuje celou složku s pluginy a šablonami.

Direktiva Disallow: / na ostrém webu

Direktiva Disallow: / zablokuje crawlerům přístup k celému webu. Legitimně se používá v testovacím prostředí, kde nechcete, aby Google indexoval nedokončený web. Problém nastane při migraci, kdy se robots.txt z testovacího prostředí překopíruje na produkční server bez úpravy. Web je live, funguje, ovšem Googlebot ho nesmí crawlovat. Organická návštěvnost začne klesat s tím, jak stránky postupně mizí z indexu.

Blokování stránek s interními zpětnými odkazy

Stránky, na které vedou interní odkazy z webu, by měly být crawlovatelné. Blokování URL v robots.txt při současném zachování interních odkazů na ni způsobí, že Googlebot odkaz zaznamená, stránku nenavštíví a crawl budget spotřebuje na neúspěšné pokusy o přístup.

Chybějící sitemap odkaz

Robots.txt je vhodné místo pro uvedení URL sitemapy: Sitemap: https://vasedomena.cz/sitemap.xml. Tato direktiva není povinná, ovšem usnadňuje crawlerům nalezení sitemapy a tím i efektivní procházení webu. Spousta robots.txt ji postrádá, přestože přidání zabere deset vteřin.

Robots.txt v době AI crawlerů

Od roku 2023 přibyli mezi crawlery navštěvujícími weby noví hráči: GPTBot od OpenAI, ClaudeBot od Anthropic, Google-Extended a další AI crawlery, které sbírají data pro trénování jazykových modelů. Robots.txt umožňuje jejich blokování pomocí specifického User-agent.

Rozhodnutí, zda AI crawlery blokovat, je obsahově politické, ne technické. Web, který blokuje AI crawlery, neposkytuje svůj obsah jako trénovací data, ovšem zároveň ztrácí šanci být citován v AI odpovědích generativních vyhledávačů. Tato oblast se rychle vyvíjí a standardy se teprve ustálují.

Jak správný robots.txt vytvořit

Ruční psaní robots.txt vyžaduje znalost syntaxe a pečlivé testování každého pravidla. Pro správce webů bez technického zázemí nebo pro situace, kdy je potřeba rychle vytvořit správně strukturovaný soubor, poslouží specializovaný nástroj. Robots.txt generátor v rámci TopRankerTools sestaví soubor na základě nastavených preferencí bez nutnosti psát direktivy ručně a eliminuje syntaktické chyby, které způsobují neočekávané chování crawlerů.

Pro orientaci v tom, jak robots.txt zapadá do technického SEO auditu, doporučujeme ještě tento článek, co komplexní SEO platforma ukáže o zdraví webu a jak s výsledky pracovat.

Robots.txt není bezpečnostní vrstva ani indexační nástroj

Robots.txt má přesně vymezenou roli. Říká crawlerům, kam smějí a kam ne. Nic víc, nic méně. Správci webů, kteří od něj očekávají víc, vytvářejí pravidla, která buď nefungují tak, jak zamýšleli, nebo webu přímo škodí. Znalost hranic tohoto nástroje je předpokladem pro jeho správné použití a předpokladem pro to, aby technická SEO vrstva webu fungovala tak, jak má.

About
Latest Posts

Bohuslav Krpata

Údajně bonviván. Kdysi muzikant. Dnes ho to táhne ke sportu, když už přestává být nejmladší. Prostě si asi umí vybrat. Pokud nevyhraje loterii, asi se bude muset začít nějak pořádně živit, prozatím se tento úděl snaží oddálit blogováním a obchody s kryptem. Takže jeho články čtěte, třeba bude mít v zimě na energie.

Latest posts by Bohuslav Krpata (see all)