Definícia
Crawl budget je počet URL adries, ktoré vyhľadávač ako Google dokáže a chce na danom webe prehľadať (crawlnuť) počas určitého časového obdobia.
Popis
Crawl budget určujú dva faktory – crawl rate limit (koľko požiadaviek môže robot poslať bez toho, aby zahltil server) a crawl demand (ako veľmi chce Google daný web prehľadávať na základe jeho popularity a frekvencie zmien). Čím väčší a dôležitejší web, tým väčší crawl budget mu vyhľadávač spravidla pridelí.
Pri malých weboch s pár desiatkami stránok crawl budget zvyčajne nie je limitujúci faktor – Google ich prehľadá bez problémov. Pri veľkých e-shopoch alebo weboch s tisíckami podstránok (napríklad s filtrami produktov) sa už ale môže stať, že si vyhľadávač „minie“ budget na nepodstatné alebo duplicitné URL adresy, a k dôležitým stránkam sa dostane neskôr alebo vôbec.
Na optimalizáciu crawl budgetu sa používa napríklad súbor sitemap, blokovanie nepotrebných URL cez robots.txt, odstránenie duplicitného obsahu alebo obmedzenie zbytočných presmerovaní. Cieľom je nasmerovať pozornosť crawlingu na stránky, ktoré majú pre web skutočnú hodnotu.
Kedy sa oplatí crawl budget riešiť
Crawl budget má väčší praktický význam pri veľkých weboch s desaťtisíckami URL adries, dynamicky generovaným obsahom (napríklad filtrované kategórie v e-shope) alebo pri weboch, ktoré Google z nejakého dôvodu prehľadáva len zriedka. Pri bežnej firemnej prezentácii alebo menšom blogu si s ním netreba lámať hlavu – dôležitejšie je mať kvalitný obsah a funkčnú internú štruktúru odkazov.