Naar
boven

Crawler

De term crawler of Google crawler betekent eigenlijk hetzelfde als de term spider. Deze term komt je vast bekend voor. De crawler van Google, of spider, is eigenlijk een tool die ingezet wordt om alle internetpagina’s op te zoeken en in kaart te brengen. De crawler slaat een kopie van de pagina op en indexeert de pagina, zodat deze gemakkelijk en snel gevonden wordt als iemand een bepaalde zoekterm invoert.

Crawler houdt index actueel en up-to-date

Omdat het internet dagelijks verandert en er iedere minuut weer ergens een pagina verdwijnt of wordt toegevoegd, is het natuurlijk belangrijk dat de index up-to-date blijft. Daarom bezoekt de crawler een website niet één keer, maar meerdere keren. De Google crawler werkt aan de hand van een lange lijst met URL’s, die één voor één worden bezocht. Wanneer de crawler op je pagina of in je tekst een hyperlink tegenkomt, wordt deze toegevoegd aan de lijst en later bezocht. Het is op deze manier voor de crawler dus mogelijk om bijna alle publieke pagina’s te bezoeken en te indexeren.

Het beïnvloeden van de Google crawler

Indexeert de crawler alle pagina’s op je website? Dat hoeft niet per se. Door middel van een speciaal tekstbestand op je site, genaamd robots.txt, geef je speciale instructies aan de crawler van Google.  Hierin zet je namelijk een speciale code. Dit kan bijvoorbeeld een noindex instructie zijn, waarmee je aangeeft dat bepaalde pagina’s van je website niet geïndexeerd moeten worden. Een voorbeeld: je wil je inlogpagina en de pagina met algemene voorwaarden niet laten indexeren, omdat deze wat minder relevant zijn en niet per se zo hoog hoeven te scoren als bijvoorbeeld je homepage. Ook kun je een nofollow instructie geven, die inhoudt dat de crawler bepaalde links in je teksten niet volgt. Er zijn verschillende redenen om bepaalde instructies te gebruiken, dat is voor iedereen anders.

Zelf leren hoe je hoger in Google scoort?

Bekijk cursus nu!