Naar
boven

Spider

Je hebt vast wel eens gehoord van de term ‘spider’. Maar dat is dit nu eigenlijk? Je mag de term in dit geval een beetje letterlijk nemen, gezien dit woord in het Nederlands spin betekent. De spider is de spin die namens Google het wereldwijde web doorkruipt en de pagina’s indexeert. Deze spider wordt ook wel crawler of webcrawler genoemd. De spiders zorgen er dus eigenlijk voor dat alle pagina’s op het internet in kaart worden gebracht, zodat deze zo snel mogelijk te vinden zijn wanneer iemand een bepaalde zoekopdracht invoert.

Hoe werkt een spider?

De spider begint als het ware met een lange lijst van URL’s. Deze worden één voor één bezocht. Als een spider op een pagina een interne link tegenkomt (een link naar een andere pagina van dezelfde website), dan worden deze URL’s aan de lijst toegevoegd. De spider heeft op deze manier dus toegang tot bijna alle publieke pagina’s op internet. Het is niet zo dat een spider één keer op je pagina komt en daarna nooit meer, vaak komen ze juist regelmatig langs. Zo blijft de ‘verzameling’ geïndexeerde pagina’s zo actueel mogelijk.

Instructies geven aan de spider

Het is mogelijk om bepaalde instructies door te geven aan de spider van Google. Dit doe je door een robots.txt tekstbestand aan te maken waarin je met een bepaalde code een instructie geeft. Meestal  gaat dit om codes waarmee je bij de spider aangeeft dat je bepaalde pagina’s niet geïndexeerd wil hebben, dat bepaalde pagina’s niet lokaal gearchiveerd moeten worden of wanneer de links op de pagina’s niet gevolgd moeten worden.

De redenen voor het doorgeven van deze instructies kunnen zeer verschillend zijn. Een noindex instructie kan bijvoorbeeld worden toegepast om irrelevante pagina’s niet te laten indexeren. Dit kan om privacyredenen gaan, of om pagina’s waarvan het niet nodig is dat ze hoger scoren dan andere pagina’s op je website (bijvoorbeeld de login pagina, of de algemene voorwaarden). De motivatie kan dus voor iedereen verschillend zijn. Zo kun je de spider rustig zijn gang laten gaan maar ook zorgen dat je website op een voor jou gunstige manier geïndexeerd wordt.

Zelf leren hoe je hoger in Google scoort?

Bekijk cursus nu!