Je site door de ogen van een webcrawler

Karel
10/6/2009
Karel
10/6/2009
Zoekmachine optimalisatie
X
min leestijd
xenu-zoekrobot

Benieuwd hoe webcrawlers van Google je website zien? Zoekmachines gebruiken spiders, crawlers en andere robots om het internet te indexeren. Een dergelijke robot 'ziet' een website niet zoals jij en ik dat doen. Het is daarom belangrijk om vast te stellen wat een robot precies ziet. Met die informatie kun je je website dan aanpassen. In dit artikel leg ik uit hoe de SEO tool Xenu het bezoek van een webcrawler simuleert en de voordelen die je daaruit haalt.

Wat is een webcrawler en wat heeft Xenu daar mee te maken?

Een webcrawler is simpel gezegd een software programma van een zoekmachine. Het doel van dit programma is het automatisch bezoeken van een lijst URL's. Een crawler heeft daarbij verschillende doelen. Het kan bijvoorbeeld via links nieuwe content ontdekken. Of de crawler controleert of eerder geïndexeerde content nog bestaat. Voor zoekmachine optimalisatie is het belangrijk dat de crawler in staat is om alle content op je website te indexeren. Daarnaast wil je dat een crawler vaak genoeg langskomt om nieuwe content op te pikken.Xenu is een SEO tool die bedoeld is om je website te controleren op kapotte links. Het programma doet dit door alle links op je website te volgen en bestanden op je website aan te vragen. Hiermee simuleert Xenu in zekere zin het gedrag van een webcrawler (alhoewel de crawlers van Google veel complexer te werk gaan).

Wat heb ik aan Xenu?

Voor je begint moet je eerst Xenu downloaden en installeren. Om een website te scannen klik je in het menu op File en vervolgens op de Check URL optie. In het scherm voer je het volledige adres in van de site die je wilt scannen, bijvoorbeeld Karelgeenen.nl. Tenslotte druk je op Ok om het proces te starten.

xenu-begin

Xenu begint direct de website te scannen. Afhankelijk van je computer, internetverbinding en vooral de grote van de site kan dit proces enkele minuten tot enkele uren duren. In de statusbalk van het programma zie je de voortgang gedurende de scan.Zodra het programma klaar is kan je een rapportage inzien. Als je FTP toegang hebt kan Xenu je website ook scannen op 'orphan pages'. Deze stap kan je ook overslaan.

xenu-rapport

Deze rapportage geeft een overzicht van waarschuwingen (404's en andere errors) en de pagina's waarop de kapotte links staan. Met deze informatie repareer je gemakkelijk kapotte links.Regelmatig je website scannen en links repareren voorkomt dat bezoekers en crawlers gefrusteerd je website verlaten. Ok, crawlers voelen misschien (nog!) geen emoties, maar het aantal 404's is wel een factor voor de optimalisatie van je website. De SEO tool Xenu kan nog veel meer. Volgende week zal ik verder ingaan op de mogelijkheden van Xenu voor de optimalisatie van je website. Hier is het tweede artikel over Xenu: SEO en Xenu webcrawler.

Schrijf je in voor onze nieuwsbrief

Je bent succesvol ingeschreven voor onze nieuwsbrief!
Er is iets fout gegaan bij het verzenden van het formulier

Wil je meer gratis tips over online marketing?

Bekijk onze gratis downloads

Categorieën

Ontdek hoe wij jouw bedrijf verder kunnen helpen

We hebben je aanvraag succesvol ontvangen, we nemen zo snel mogelijk contact met je op
Er is iets fout gegaan bij het verzenden van het formulier