Naar
boven

Googlebot

Een bot is een computerprogramma dat automatische handelingen verricht. Een Googlebot is eigenlijk de robot van Google. Een ander woord dat voor Googlebot wordt gebruikt is spider. De Googlebot is er voor nieuwe websites, maar wordt ook ingezet bij bestaande websites. De Googlebot zorgt ervoor dat alle websites die bestaan terecht komen in de zoekmachines. Hieronder lees je hoe de Googlebot dit doet.

Wat doet de Googlebot?

De Googlebot houdt zich bezig met een proces dat ‘crawlen’ wordt genoemd. Crawlen is het doorzoeken van alle webpagina’s en het toevoegen van deze webpagina’s aan de index van Google. Google kijkt hierbij of de website nog werkt, of er nieuwe pagina’s moeten worden geïndexeerd en zorgt ervoor dat de links van en naar je website worden gevolgd. De Googlebot doet dit door middel van een algoritme. Je kunt de Googlebot een handje helpen door een sitemap aan te maken. Op deze manier zijn je pagina’s goed vindbaar voor de Googlebot en kunnen ze gemakkelijker worden opgenomen in de index van Google.

Googlebot blokkeren: noindex

Hoewel het bijna onmogelijk is om een pagina geheim te houden en te blokkeren voor de Googlebot zijn er een aantal opties om bepaalde pagina’s te mijden voor de Googlebot. Normaalgesproken zorgt de Googlebot voor het follewen en indexeren van een pagina. Hiervoor hoef je niks te doen. Je kunt ook kiezen voor de optie noindex. Op deze manier voorkom je dat pagina’s worden geïndexeerd door Google. Dit doe je door het toevoegen  van een noindex metatag aan de broncode van de desbetreffende webpagina. Je pagina kan dan ook niet worden gevonden door bezoekers in de zoekresultaten van Google.

Crawlen vermijden

Met een noindex, nofollow metatag voorkom je ook dat de webpagina wordt gecrawled door de Googlebot. Hierbij wordt er geen waarde meer toegekend aan de in- en uitgaande links. Als derde optie kun je de Googlebot uitsluiten voor je gehele website door het toevoegen van een robot.txt bestand. Bedenk eerst goed waarom je dit zou willen doen en zorg dat je nauwkeurig te werk gaat om fouten te voorkomen!

Zelf leren hoe je hoger in Google scoort?

Bekijk cursus nu!