Benieuwd hoe webcrawlers van Google je website zien? Zoekmachines gebruiken spiders, crawlers en andere robots om het internet te indexeren. Een dergelijke robot 'ziet' een website niet zoals jij en ik dat doen. Het is daarom belangrijk om vast te stellen wat een robot precies ziet. Met die informatie kun je je website dan aanpassen. In dit artikel leg ik uit hoe de SEO tool Xenu het bezoek van een webcrawler simuleert en de voordelen die je daaruit haalt.
Wat is een webcrawler en wat heeft Xenu daar mee te maken?
Een webcrawler is simpel gezegd een software programma van een zoekmachine. Het doel van dit programma is het automatisch bezoeken van een lijst URL's. Een crawler heeft daarbij verschillende doelen. Het kan bijvoorbeeld via links nieuwe content ontdekken. Of de crawler controleert of eerder geïndexeerde content nog bestaat. Voor zoekmachine optimalisatie is het belangrijk dat de crawler in staat is om alle content op je website te indexeren. Daarnaast wil je dat een crawler vaak genoeg langskomt om nieuwe content op te pikken.Xenu is een SEO tool die bedoeld is om je website te controleren op kapotte links. Het programma doet dit door alle links op je website te volgen en bestanden op je website aan te vragen. Hiermee simuleert Xenu in zekere zin het gedrag van een webcrawler (alhoewel de crawlers van Google veel complexer te werk gaan).
Wat heb ik aan Xenu?
Voor je begint moet je eerst Xenu downloaden en installeren. Om een website te scannen klik je in het menu op File en vervolgens op de Check URL optie. In het scherm voer je het volledige adres in van de site die je wilt scannen, bijvoorbeeld Karelgeenen.nl. Tenslotte druk je op Ok om het proces te starten.
Xenu begint direct de website te scannen. Afhankelijk van je computer, internetverbinding en vooral de grote van de site kan dit proces enkele minuten tot enkele uren duren. In de statusbalk van het programma zie je de voortgang gedurende de scan.Zodra het programma klaar is kan je een rapportage inzien. Als je FTP toegang hebt kan Xenu je website ook scannen op 'orphan pages'. Deze stap kan je ook overslaan.
Deze rapportage geeft een overzicht van waarschuwingen (404's en andere errors) en de pagina's waarop de kapotte links staan. Met deze informatie repareer je gemakkelijk kapotte links.Regelmatig je website scannen en links repareren voorkomt dat bezoekers en crawlers gefrusteerd je website verlaten. Ok, crawlers voelen misschien (nog!) geen emoties, maar het aantal 404's is wel een factor voor de optimalisatie van je website. De SEO tool Xenu kan nog veel meer. Volgende week zal ik verder ingaan op de mogelijkheden van Xenu voor de optimalisatie van je website. Hier is het tweede artikel over Xenu: SEO en Xenu webcrawler.