Naar
boven
Logo Karel Geenen

Je site door de ogen van een webcrawler

xenu-zoekrobotBenieuwd hoe webcrawlers van Google je website zien? Zoekmachines gebruiken spiders, crawlers en andere robots om het internet te indexeren. Een dergelijke robot ‘ziet’ een website niet zoals jij en ik dat doen. Het is daarom belangrijk om vast te stellen wat een robot precies ziet. Met die informatie kun je je website dan aanpassen. In dit artikel leg ik uit hoe de SEO tool Xenu het bezoek van een webcrawler simuleert en de voordelen die je daaruit haalt.
 

Wat is een webcrawler en wat heeft Xenu daar mee te maken?

Een webcrawler is simpel gezegd een software programma van een zoekmachine. Het doel van dit programma is het automatisch bezoeken van een lijst URL’s. Een crawler heeft daarbij verschillende doelen. Het kan bijvoorbeeld via links nieuwe content ontdekken. Of de crawler controleert of eerder geïndexeerde content nog bestaat. Voor zoekmachine optimalisatie is het belangrijk dat de crawler in staat is om alle content op je website te indexeren. Daarnaast wil je dat een crawler vaak genoeg langskomt om nieuwe content op te pikken.

Xenu is een SEO tool die bedoeld is om je website te controleren op kapotte links. Het programma doet dit door alle links op je website te volgen en bestanden op je website aan te vragen. Hiermee simuleert Xenu in zekere zin het gedrag van een webcrawler (alhoewel de crawlers van Google veel complexer te werk gaan).
 

Wat heb ik aan Xenu?

Voor je begint moet je eerst Xenu downloaden en installeren. Om een website te scannen klik je in het menu op File en vervolgens op de Check URL optie. In het scherm voer je het volledige adres in van de site die je wilt scannen, bijvoorbeeld Karelgeenen.nl. Tenslotte druk je op Ok om het proces te starten.

xenu-begin

Xenu begint direct de website te scannen. Afhankelijk van je computer, internetverbinding en vooral de grote van de site kan dit proces enkele minuten tot enkele uren duren. In de statusbalk van het programma zie je de voortgang gedurende de scan.

Zodra het programma klaar is kan je een rapportage inzien. Als je FTP toegang hebt kan Xenu je website ook scannen op ‘orphan pages’. Deze stap kan je ook overslaan.

xenu-rapport

Deze rapportage geeft een overzicht van waarschuwingen (404′s en andere errors) en de pagina’s waarop de kapotte links staan. Met deze informatie repareer je gemakkelijk kapotte links.

Regelmatig je website scannen en links repareren voorkomt dat bezoekers en crawlers gefrusteerd je website verlaten. Ok, crawlers voelen misschien (nog!) geen emoties, maar het aantal 404′s is wel een factor voor de optimalisatie van je website. De SEO tool Xenu kan nog veel meer. Volgende week zal ik verder ingaan op de mogelijkheden van Xenu voor de optimalisatie van je website. Hier is het tweede artikel over Xenu: SEO en Xenu webcrawler.

Zelf leren hoe je hoger in Google scoort?

Bekijk cursus nu!

Over de auteur:

Dit artikel is geschreven door .

Martijn Couprie
Martijn Couprie is online marketeer en internet enthousiast. Hij schrijft ook op zijn eigen blog over online marketing.
20 reacties op "Je site door de ogen van een webcrawler"
  • Karel Geenen zegt:
    10 jun, 2009 om 13:47

    Sterk artikel Martijn. Een goede opening als nieuwe schrijver. Ik ben erg benieuwd naar je vervolgartikelen.

    Reageren
  • Seth Rietdijk zegt:
    10 jun, 2009 om 13:56

    Mooi artikel Karel.
    Xenu is een topprogramma… je kunt echt honderdduizenden url’s tegelijk scannen op 404 pagina’s.

    Reageren
    • Karel Geenen zegt:
      10 jun, 2009 om 14:00

      Artikel is niet door mij geschreven maar door Martijn. Maar Xenu is echt een ideaal programma!

  • Martijn Couprie zegt:
    10 jun, 2009 om 15:08

    Dank Seth, je kan echter nog meer uit Xenu halen. Meer daarover volgende week…

    Reageren
  • Michel zegt:
    10 jun, 2009 om 15:38

    Idd, goed programma. Was bijna vergeten dat het bestond. Dus dank voor de update ;)

    Reageren
  • Bjorn van der Neut zegt:
    10 jun, 2009 om 16:02

    We hebben dit programma laatst gebruikt voor onze oude nieuwsbrieven archief waar de links nog naar verkeerde urls linkten. Super tooltje!

    Reageren
  • Michel zegt:
    10 jun, 2009 om 17:45

    Overigens biedt Google Webmaster Center ook al een hoop van deze tools (crawl en index en ‘how google sees your website) pagina. Ook zeer betrouwbaar, denk ik.

    Ga toch eens kijken naar dit tooltje. bedankt!

    Reageren
  • Paul zegt:
    10 jun, 2009 om 23:32

    Goed verwoord artikel, waardoor je ook gelijk stapsgewijs waarmee je aan de slag kunt. Thanks!
    Ben benieuwd naar de update van volgende keer…

    Reageren
  • Navin Poeran zegt:
    11 jun, 2009 om 03:03

    Wat ik ook zo handig vind van dit programma. Het geeft je in een rapport ook precies aan naar welke sites, welke linkjes een 301 hebben. (daarnaast ook alle 30x, 40x en 50x)

    Om een voorbeeld te geven:
    Stel je bent opzoek naar designers, je komt een pagina op het web tegen, en die bevat 200 waardevolle links naar design websites.
    Nu wil je al die links opslaan in een Excel sheet zodat je dat later rustig kan bekijken, maar probleem is nu, dat al die 200 linkjes via een “database achtige link” aan elkaar zijn gekoppeld, dus via id’s, heel vervelend, want nu moet je ze telkens een voor een open klikken om de ware URL’s te krijgen zodat jij ze kan verzamelen.

    Hiervoor kun je dus die Xenu, prima als hulpmiddel gebruiken om er een rapport van te maken, het zet alles voor je netjes op een rij met bijhorende 301 adressen, dat uitfilteren in een Excel sheet, and your work is done!

    Reageren
  • Tom - Estate zegt:
    11 jun, 2009 om 08:13

    Ik gebruik xenu ook dagelijks voor verschillende sites. Werkt snel en overzichtelijk. Vooral die export functie is een groot voordeel.

    Reageren
  • Tim Huijbers zegt:
    11 jun, 2009 om 16:49

    Ik ga deze tool maar eens runnen op 1 van m’n sites met veel content en veel links naar andere pagina’s, eens zien hoe nuttig het kan zijn.

    Ik ben ook benieuwd of dit voor SEO nog toegevoegde waarde kan hebben, heb wel een aantal idee’tjes, misschien kan je daar ook eens een licht op schijnen Martijn?

    Reageren
  • Erwin Sigterman zegt:
    12 jun, 2009 om 11:11

    HTTRACK doet ongeveer hetzelfde.

    Reageren
  • Tim Huijbers zegt:
    12 jun, 2009 om 12:25

    Nou volgens mij niet, HTTrack is een programma om de website te ‘downloaden’ (zoals je zelf beschrijft volgens mij, gezien je linkje bij je naam).

    Dit gaat om hoe een crawler je pagina ziet, dat is toch wel even anders dan ‘hoe HTtrack’ je pagina ziet. Is eigenlijk gewoon een compleet ander programma met een compleet ander doel…

    Reageren
  • Peter van der Zee zegt:
    15 jun, 2009 om 16:44

    Heej Martijn, Ik check regelmatig dit weblog en zag opeens jouw fotootje staan!

    Goed geschreven artikel, heb Xenu meteen even uitgeprobeerd.

    Veel succes met posten en ik zie vast en zeker vaker wat verschijnen hier!

    Reageren
  • Jacob Ras zegt:
    15 jun, 2009 om 19:23

    “Als je FTP toegang hebt kan Xenu je website ook scannen op ‘orphan pages’.”
    Voor degenen die het niet weten: Orphan Pages (vrij vertaald: Wees pagina’s) zijn pagina’s waar geen enkele andere pagina naar linkt. Hierdoor kan een webcrawler de pagina dus niet vinden.

    Daarom is het dus belangrijk dat je site een goede structuur heeft, en dat er naar elke pagina tenminste één keer wordt gelinkt.

    @Karel: Ik zie net de Gravatar-melding onderaan de pagina, mooi kort en duidelijk uitgelegd.

    Reageren
  • Martijn Couprie zegt:
    15 jun, 2009 om 19:39

    @peter, dank je! Tis leuk om weer een plek te hebben om te bloggen over seo :)

    Reageren
  • Dennis Sievers zegt:
    02 jul, 2009 om 09:31

    Xenu is vooral goed te gebruiken om in kaart te brengen in hoeverre alle pagina’s binnen de website ook daadwerkelijk bereikbaar zijn. Als je 1000 pagina’s hebt en Xenu vindt er maar 50, dan is er iets goed mis met de opbouw van de website.

    Reageren
  • Isinet zegt:
    02 jul, 2009 om 09:35

    Een bijkomend voordeel van de Xenu tool is dat bij het aanmaken van een rapport ook de structuur van je website duidelijk wordt weergegeven in de zone ‘sitemap’.

    Op die manier zie je hoe de linking van je site in elkaar zit en kun je nagaan als deze structuur overeenkomt met het opzet.

    De sitemap kan je vervolgens die manier eenvoudig plakken op een sitemap pagina waarbij al direct de linkteksten perfect overeenstemmen met de titels van je pagina’s.

    Reageren
  • Internetmarketing Isinet zegt:
    02 jul, 2009 om 09:46

    En niet onbelangrijk…

    De beschreven handelingen op deze pagina slaan steeds op een ‘na-evaluatie’ (waarvoor de tool overigens bijzonder nuttig is) maar het is zeker ook een handig instrument in de voorbereidende fase van je website-opzet of bij de strategie rond uitbreiding van je site.

    Probeer de tool eens als volgt:
    - breng de belangrijkste concurrenten van je (nieuwe) website in kaart
    - zet de domeinnamen onder elkaar in een tekstbestand en bewaar dit
    - kies in de Xenu tool via File > Check URL list..
    - selecteer het tekstbestand en start de tool
    - exporteer de resultaten naar de tab file via ctrl+T
    - open in excel en kopieer de inhoud van de titel kolom
    - plak deze lijst in een keyword-density tool (bv op http://www.s-e-o.be/keyword-tool)
    - haal uit de resultaten-tabel (die je bv op 100 instelt) de 50 meest relevante woorden
    - plak deze in het ‘hulpprogramma van zoekwoorden’ van Google
    - stel je prioriteitenlijstje op van woorden waarop je niet scoort en extra content voor zal aanmaken.

    Succes !

    Reageren
  • www.karelgeenen.nl zegt:
    09 mei, 2011 om 06:55

    Bekijk je site door de ogen van een webcrawler.. Super :)

    Reageren

Reageren