Definícia
Robots.txt je textový súbor umiestnený v koreňovom adresári webu, ktorý vyhľadávačom a iným robotom určuje, ktoré časti stránky môžu alebo nemôžu prehľadať.
Popis
Súbor je súčasťou takzvaného Robots Exclusion Protocol – neformálneho štandardu, ktorý vyhľadávače ako Google alebo Bing vo väčšine prípadov dobrovoľne dodržiavajú. Robots.txt patrí, podobne ako sitemap, medzi prvé súbory, ktoré robot pri návšteve webu skontroluje, a nachádza sa vždy na adrese tvaru [doména]/robots.txt.
Pomocou pravidiel User-agent, Disallow a Allow môže správca webu vyhľadávačom zakázať alebo povoliť prístup k jednotlivým adresárom či súborom – napríklad k administrátorskému rozhraniu, interným vyhľadávacím výsledkom alebo duplicitnému obsahu. Správne nastavený súbor tak pomáha lepšie využiť crawl budget a nasmerovať robotov len na obsah, ktorý má zmysel indexovať.
Robots.txt nie je bezpečnostný nástroj – zablokovanie adresy v tomto súbore nezaručuje, že sa nikdy neobjaví vo výsledkoch vyhľadávania, ak na ňu vedie odkaz odinakiaľ, a niektorí roboti pravidlá jednoducho ignorujú. Na skryté alebo citlivé stránky treba namiesto toho použiť ochranu heslom alebo značku noindex.
Príklad zápisu
Jednoduchý zápis, ktorý zakaže prehľadávanie adresára /wp-admin/, ale povolí konkrétny súbor v ňom, vyzerá takto: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php.