Predstavte si obrovský e-shop, ktorý má veľmi veľa - niekoľko stotisíc alebo aj vyše milióna URL; viete si predstaviť, že

v takomto prípade rýchlosť zaindexovania Google-om nebude práve najrýchlejšia. Navyše v prípade e-shopov je fluktuácia priebežná, t.j. priebežne sa dopĺňajú a odstraňujú produkty. Otázkou je, či Google nájde všetky nové URL odkazujúce na nové produkty? A čo je tiež veľmi dôležité: keď aj nájde, tak skôr, ako URL konkurenčných stránok s rovnakými produktmi?

Čo je vlastne rozpočet na prezeranie webu (po anglicky: Crawl Budget)? Spoločnosť Google v osobitnom článku vysvetlila o čo sa presne jedná pod pojmom rozpočet na prezeranie webu potom, ako zistil veľký záujem o tento výraz medzi špecialistami na SEO optimalizáciu pre vyhľadávače. Google v uvedenom článku hneď na úvod zdôraznil, že kvôli „crawl budget“ sa väčšina majiteľov webov nemusí znepokojovať. Google veľmi ľahko dokáže prezrieť web, ak webová stránka má „iba“ niekoľko tisíc URL. Nie je dôvod znepokojovať sa ani vtedy ani vtedy, ak nové stránky Google zmapuje za pár dní. Keď ale správca webu prevádzkuje obrovskú web stránku, potom je veľmi dôležité určiť čo má Google uprednostniť, čo má zaindexovať počas prezerania webu.

Googlebot (vyhľadávací robot prehľadávača Google) počas prezerania prechádza URL daných web stránok takým spôsobom, aby nezaťažil server web stránky. Robí to preto, aby sa web nespomalil, a aby sa následne nezhoršil užívateľský zážitok daného webu, atď.
V prípade Google tzn. Crawl Rate Limit (počet robotov, ktoré zvládne web) určí, že roboty ako často prezerajú danú web stránku, t.j. upravuje počet prezeraní a tiež časový interval prezerania. Samozrejme, táto hodnota sa môže meniť v súvislosti od kvality webu. Hodnotu Crawl Rate Limit je možné nastaviť v Search Consol.

Potrebu prezerania webu t. j. Crawl Demand určuje popularita a celková aktualizácia daného webu. Google sa snaží indexovať čo najčastejšie kvôli tomu, aby užívateľom poskytol čo najčerstvejšie aktualizácie. Googlebot uprednostňuje prezeranie dávnejšie indexovaných URL, preto je dôležitý aj vek jednotlivých URL.

A teraz sa vráťme k rozpočtu na prezeranie webu. Rozpočet na prezeranie webu – t. j. číslo, koľko URL chce a dokáže Google zmapovať za daný čas - určujú spoločne už vyššie spomínaný Crawl Rate Limit a Crawl Demand.

Treba mať na pamäti, že nekvalitné URL negatívne ovplyvňujú indexovanie a aj prezeranie webu. Google počas prezerania nekvalitných URL zbytočne plytvá „svojimi silami“ na taký obsah, ktorý je napríklad duplicitný, URL s chybovým hlásením 404, alebo SPAM-ový obsah. Nie je na škodu ani to, keď sa web stránka rýchlo načíta, t.j. nachádza sa na správnom serveri, lebo potom aj zmapovanie prebehne rýchlejšie. (Alternatívne URL tiež berú z rozpočtu na prezeranie.)

Zmapovanie/ prezeranie webu je dôležité kvôli tomu, aby sa web objavil vo výsledkoch vyhľadávania, z hľadiska SEO optimalizácie pre vyhľadávače na určenie poradia nemá žiadny vplyv. Nekvalitné zmapovanie webu je jednoznačne znakom slabej kvality webovej stránky, preto sa nedá úplne ignorovať.