Met een Googlebot bedoelen we de spider die Google gebruikt om pagina’s te ‘crawlen’ (lees: doorzoeken).  Zodoende weet Google hoeveel en welke pagina’s er allemaal zijn en welke pagina’s geindexeerd mogen worden.
Wil je website-inhoud blokkeren voor Googlebots? Gebruik dan het robots.txt bestand en vertel welke bestanden en/of directories niet toegankelijk zijn voor Googlebot.