Regelmatig ontvang ik wanhopige mailtjes met de volgende vraag:
Een tijdje geleden heb ik mijn website online gezet. Maar wanneer ik zoek op … dan worden mijn pagina’s niet in Google gevonden.
De strekking van dit soort vragen is dus eigenlijk, Google vertoont mijn pagina’s niet. De redenen hiervoor kunnen uiteenlopend zijn, en in dit artikel ga ik er verschillende behandelen.
Niet geïndexeerd of…
Vooraleer we kunnen weten wat er aan de hand is zullen we eerst moeten weten of dat je pagina’s zich wel in de index van Google bevinden. Grofweg zijn er twee redenen waarom pagina’s niet worden vertoond bij een zoekopdracht:
- De pagina’s worden wel gevonden voor een bepaalde zoekopdracht maar staan ergens op plaats 500 (met andere woorden, ze zijn er wel maar ze staan op een niet noemenswaardige positie)
- De pagina’s zijn niet geïndexeerd.
In dit artikel gaan we het over het tweede punt hebben, wanneer je pagina’s dus niet zijn geïndexeerd.
Om nu te controleren of je met punt 1 of punt 2 te maken hebt voer je de volgende zoekopdracht uit:
site:www.jedomeinnaam.nl
Je ziet dan in principe alle pagina’s die door Google zijn geïndexeerd. Wanneer hier niet de pagina’s tussenstaan die jij er wel graag tussen zou willen hebben is er dus iets aan de hand.
Reden 1: Google heeft je website nog niet gevonden
Zeker wanneer je website net in de lucht is kan zich deze reden voordoen. Google heeft je website simpelweg nog niet gevonden. Hoewel Google tegenwoordig snel is met het vinden van nieuwe sites hoeft dit zeker niet altijd het geval te zijn.
Oplossing
Zorg ervoor dat Google je website kan vinden. De beste manier om dit te doen is door op een andere website (liefst eentje die veel door Google wordt bezocht) een link te plaatsen naar je nieuwe website. Google bezoekt de andere website, treft daar de link aan naar je website, volgt deze, en ontdekt jouw website.
Reden 2: In de Google Sandbox
Hoewel Google nooit het bestaan van deze filter heeft toegegeven kunnen we er ondertussen rustig vanuit gaan dat deze bestaat. Het principe is heel eenvoudig. Google wil dat nieuwe websites zich eerst bewijzen, voordat ze een prominente plaats in de zoekresultaten krijgen. Daarom kan het zo zijn dat wanneer je nieuwe website eerst goed wordt gevonden, en dan plots niet meer zichtbaar is in de zoekresultaten. Dit euvel dit zich dus voornamelijk voor bij nieuwe websites.
Oplossing
Helaas, hier is weinig aan te doen. Er is verder ook weinig aan de hand, buiten het feit dat je een periode niet wordt gevonden. Wanneer je gewoon verdergaat met het promoten, uitbouwen en optimaliseren van je website komt het allemaal goed.
Reden 3: Google kan niet bij alle pagina’s
Google ziet bijvoorbeeld wel je homepage maar niet de dieperliggende pagina’s. Hier zit je meestal met een crawl/navigatie probleem. Google vindt wel je homepage maar komt niet tot de dieperliggende pagina’s. Google vindt nieuwe pagina’s meestal door interne links (denk aan je navigatielinks). Maar wanneer bepaalde dieperliggende pagina’s niet juist worden gelinkt kan Google ze ook niet vinden.
Oplossing
Zorg ervoor dat je navigatiestructuur goed is opgebouwd. En nog belangrijker, zorg dat Google die interne links ook goed kan volgen (dus liefst niet verstopt in Flash of Javascript). Verder is het verstandig om pagina’s zo dicht mogelijk bij het hoofddomein te houden, en ervoor te zorgen dat dieperliggende pagina’s ook vanaf bijvoorbeeld de homepage worden gelinkt.
Reden 4: Je verbiedt Google om je pagina’s te indexeren
Misschien een open deur, maar wel eentje om in de gaten te houden. Binnen je Robots.txt of binnen de pagina’s zelf kun je namelijk aangeven dat je bepaalde pagina’s niet in de index wil hebben (met de robots: noindex tag).
Oplossing
Controleer je robots.txt bestand en de pagina’s zelf op de “robots: noindex tag”.
Reden 5: Duplicate content (dubbele inhoud)
Tenslotte wil ik nog even het duplicate content verhaal aanhalen. Stel dat je bijvoorbeeld een webshop hebt. In deze webshop bevinden zich 1000 producten, en dus ook 1000 pagina’s. Een groot deel van die pagina’s heeft sterke overeenkomsten, immers de opbouw en een groot deel van de tekst is hetzelfde. Zeker wanneer je geen unieke productomschrijvingen plaatst kan zich dit voordoen.
Het probleem is dan dat Google deze pagina’s als duplicate content kan gaan zien. Google vindt dan dus dat deze pagina’s teveel op elkaar lijken en zegt dan eigenlijk: “waarom zou ik alle pagina’s moeten laten zien, ze zijn toch allemaal hetzelfde”. Met het gevolg dat er maar eentje of een aantal worden vertoond.
Oplossing
Zorg ervoor dat elke pagina op je website voldoende unieke inhoud heeft!
Conclusie
Het niet zien van je pagina’s in Google kan dus verschillende redenen hebben. De voornaamste zijn hierboven vermeld. Er bestaat ook nog een mogelijkheid dat je een penalty hebt gekregen van Google, en dat je dus gestraft bent. Voordat je het daar achter gaat zoeken adviseer ik je dus om eerst het bovenstaande op te lossen. Succes!
Goed artikel Karel, nuttig voor je eigen klanten als uitleg.
Wat ik ook heb meegemaakt is dat alle links op de homepage een Nofollow tag hadden. Toen deze eruit was gehaald werden alle pagina’s geïndexeerd. En nee, ik heb niets anders gedaan.
Weer een zeer nuttig en informatief artikel.
Een goede sitemap kan toch ook voordelen hebben bij de indexatie.?
Het is zeker mogelijk om snel uit de Sandbox te komen. Hier zijn diverse strategieën voor. De eenvoudigste is veel nieuwe content maken en deze promoten. Kun je binnen een paar weken de Sandbox achter je laten.
Duplicate content komt vaak voor, zie het binnen een bepaalde branche erg vaak
Een goede sitemap (dus pagina structuur) geeft binnen een paar klikken de gehele pagina weer, dus voor google interessant/ makkelijk om te indexeren
Over sitemaps zijn de meningen helaas ook verdeeld… dan gaat het met name over het nut en of Google daar niet ‘lui’ van wordt. Ik twijfel zelf ook over de toegevoegde waarde.
Dit is denk ik ook afhankelijk van hoe ‘diep’ de links op je site gaan. Sommige (overheid) sites zijn voor de bezoeker echt niet prettig zonder sitemap (of zoekfunctie).
Wat duplicate content betreft, had ik ook dit probleem. Ik had dit toen opgelost, door een screendump te maken van de content, en deze als plaatje op meerder pagina’s geplaatst.
Met name een XML sitemap +Webmaster Tools kunnen veel inzicht geven in wat wel en niet is geïndexeerd (en het is ook positief richting Google). Een gewone sitemap helpt trouwens ook want het is toch een extra link naar iedere pagina, ook de dieper liggende. Echte wonderen doet dit echter ook weer niet.
Via “&filter=0″ kan je trouwens zo zien of je niet wordt vertoond vanwege de duplicate content filter.
Een van je artikelen binnen je content op een socal media site posten levert meestal binnen een uur al resultaat op.
Nuij.nl, ekudos.nl of zelfs msnreporter.nl kunnen het probleem snel verhelpen. Dergelijke grote sites worden kennelijk vanwege het veranderende karakter vrijwel permanent gecrawld door Google.
Betreffende puntje 1 is de snelste manier om even een wordpressblog aan te maken. Daar een linkje naar je site in plaatsen die je geïndexeerd wil hebben en in no time is hij in google terug te vinden.
@Hypotheek Deventer: Inderdaad, ik blijf me er wel over verbazen dat nujij geen nofollow code gebruikt. Het is voor korte tijd, maar je staat wel even op de homepage van een PR7.
Misschien een vraag die karel wel weet. Hoelang moet je op een pagina staan eer google de link ook kan waarderen. Wordt de link met 1 crawl al getelt of moet de link er minimaal in 3 crawls voorkomen? Zijn hier gegevens over bekend? Zoals maarten al zegt sta je nooit lang op die pr7 pagina.
Wederom goed en duidelijk artikel.
Een aantal andere redenen waardoor de site mogelijk niet geindexeerd wordt zijn volgens de Bing webmaster tool (zal ook wel voor Google gelden):
Long Dynamic Url:
Bing has flagged these URLs as having exceptionally long query strings, which we believe might lead our crawler into an infinite loop trying to crawl all the potential combinations, and may also contain duplicate content. We recommend you use this report to identify URLs that you may want to shorten and resolve these issues.
Malware Infected:
Bing has determined there is a high likelihood these pages contain malicious code that could damage a user’s computer. For that reason they are being omitted from search results.
Volgens mij hoef je er maar 1 keer te staan tijdens het crawlen. vervolgens (voor Google) geldt de link zolang je zelf nog niet ge herindexeerd bent. Het valt mij telkens op dat iedere keer mijn backlinks veranderen als Google weer langs is geweest.
Waarschijnlijk zal op dat moment gecontroleerd worden of de link er nog is. zo niet dan telt hij niet meer mee.
Sorry Karel dat ik even voor mijn beurt praat.
Interessant vraagstuk.
Wanneer we gaan kijken naar de waarde van een dergelijke link dan moeten we concluderen dat dat niet veel is. Immers, de link is na een korte periode ook weer verdwenen. Google weet dit ook, en Google kennende zullen ze dergelijke links dus ook niet zwaar meetellen. Verwacht dus niet dat je op deze manier gemakkelijk hoge pageranklinks kunt scoren.
Er praat hier niemand voor zijn beurt Marc. Dit is een open platform en ik ben alleen maar blij als mijn lezers reageren op anderen, graag zelfs! Ik heb gereageerd bij Internet Tilburg, moest je mijn mening willen weten :-).
Zo heb ik vaker andere soorten problemen met Google, soms kan ik ze zelf oplossen en soms ook niet.
Ik heb tijden gehad dat de index van gedichtenstad alleen werd geindexeerd en de subpagina’s niet, daarna was het andersom. (weken of maanden achter elkaar)
Met vanavond.tv sta ik regelmatig in de top 10 op tv gids, maar er zijn ook met enige regelmaat momenten dat hij gewoon ineens spoorloos is in de top 50 op dat keywords, en bijvoorbeeld 6 dagen later staat hij er weer even (periodes zijn heel wisselend).
Goed ook met het indexeren van diepliggende pagina’s heb ik problemen, sinds 1.5e maand actief mee bezig.. Kom al een eind verder maar nog niet ver genoeg. Wel in webmaster Tools van Google duidelijk alle urls toegevoegd, speel veel met interne links, allemaal unieke content maar het wil nog niet helemaal.
Daarnaast is dit mijn eerste reactie, absoluut complimenten voor dit blog, ik hoop dat je lang door blijft gaan Karel, vaak zie je dat de blogs stoppen terwijl het zo leerzaam en leuk is om te lezen (actuele informatie).
Dank voor je eerste reactie! En de bedoeling is toch wel dat we nog een tijdje meegaan, zit nu op bijna 3,5 jaar :-). Heb er inderdaad ook al een hele hoop zien komen en gaan, helaas.
Als je website soms uit de zoekresultaten is verdwenen, dan kan ook een reden zijn dat je website soms erg traag is of in het ergste geval zelfs even offline op het moment dat de Google-bot langs komt. Niet alle hostingproviders zijn zo betrouwbaar als dat ze lijken of zelf zeggen. Vooral de prijsstunters hebben nog wel eens overbelaste servers of slechte uptimes.
Karel,
Ben benieuwd wanneer je punt 1 gaat oppakken :-) “De pagina’s worden wel gevonden voor een bepaalde zoekopdracht maar staan ergens op plaats 500 (met andere woorden, ze zijn er wel maar ze staan op een niet noemenswaardige positie)”
Dat zal ik binnenkort wel eens behandelen Ruud!
Ik denk dat je ook nog een punt vergeet dat steeds belangrijker wordt namelijk regelmatig updaten van de website, want websites met veel nieuws worden steeds sneller geïndexeerd en komen hoger in google, terwijl sommige oude websites helemaal wegzakken.
Nog niet gevonden worden, reden 1, kan lang duren en voor veel onnodige onrust zorgen. Ook met een paar goede links naar een nieuwe site. Reken 3 tot 4 weken voor volledige indexatie van alle pagina’s, plaatjes volgen nog 2 a 3 weken later. (Ben 6 weken geleden een blog gestart en de plaatjes zijn nog steeds niet geïndexeerd, maar weet inmiddels dat ik me daar geen zorgen over hoef te maken).
Karel, complimenten hoor, ik kom regelmatig even langs op je blog.
Hmmm, meer dan 2 weken later. Blog is goed geïndexeerd, maar plaatjes nog steeds niet, en er is ook nog geen pagerank toegekend. Iemand enig idee hoe lang dat nog gaat duren? Of doe ik misschien toch iets fout?
Onderbuikgevoelens als posten op NuJij (schuldsaldoverzekering) zijn bijna altijd terecht.
Hoe een website is opgebouwd, de paginastructuur, sitemaps, diepliggende pagina’s, afdelingen, interne links, lijndiagrammen enz. het heeft allemaal invloed op de indexering. Ik denk dat labels (tags) de toekomst zijn. Geen structuren meer, je plaats alles gewoon met een label, en de chaos wordt geordend door die labels (die dan bijvoorbeeld door een tagcloud worden weergegeven). Ik zou jou, Karel Geenen, daar graag eens een boompje over zien willen opzetten! Ik denk echt dat dit onze toekomst is. Tags scoren goed bij google. Het is de nieuwe manier van ordenen. Informatie zoek je ook niet meer alfabetisch op in een encyclopedie of op categorie in een bibliotheek.
Hallo,
Je kunt ook gebanned zijn, doordat je niet toegestane SEO technieken hebt toegepast.
Ja, bijvoorbeeld met keyword stuffing.
Zorg in ieder geval voor voldoende goede links, dan wordt je pagina vanzelf gevonden. Neemt niet weg dat de andere redenen je pagina weg kunnen halen uit de zoekopdrachten. Maar als je site goed is opgezet moet dat geen probleem zijn lijkt me
dank je karel voor dit artikel. een vande vele waarvan ik leer via jouw website. Jouw arikel gaat over google en over de reene waardoor je niet geindexeert word. Weet je ook waarom bij bing pagina’s niet worden geindexeerd?
Johan
Wij worden wel goed gevonden in Bing, maar in Yahoo zijn we niet vindbaar. Nu ja, verkeer via Yahoo is verwaarloosbaar, maar toch. Iemand tips om hier toch geïndexeerd te worden?
Een website van mij zit in de google sandbox. Ik scoorde binnen de 3 weken op alle veel gezochte keywords op pagina 1 en haalde zo nette bezoekersaantallen en inkomsten, maar sinds maandag sta ik nergens meer. Enkel mijn indexpagina staat nog in google, alle andere resultaten zijn weg :-(
Kan het posten van berichten op nujij (met de begintekst uit mijn berichten) hier ook voor iets tussenzitten?
Bij bing sta ik op nummer 1 :-)
Mijn ervaring met NuJij is dat dit eerder negatieve dan positieve invloed heeft op je eigen positie in de zoekresultaten. Google weet ook wel dat iedereen daar kan plaatsen wat hij wil en hecht daarom weinig waarde daar aan. Ook al heeft de homepage een pagerank7, dat wil niet zeggen dat alle achterliggende pagina’s dit ook hebben.
Zie mijn verhaal “een mailtje aan Matt” de site waar ik in dat artikel over schrijf floepte een tijdje in en uit de sandbox. Weekje weg, paardagen zichtbaar, paar dagen weg enz.
Vermoedelijk is er toch een (kleine) wijziging in de manier waarop veel links van (vermoedelijk) lage waarde worden gezien.
Ook ik heb voor die site veel comments, social media, guestbooks enz. gebruikt. De massa aan links die dan in korte tijd ontstaat wordt afgestraft. Althans dat vermoed ik.
Ook die site doet het erg goed in Yahoo, Bing en overige zoekmachines, alleen Google gooit hem er elke keer in en uit. Kan natuurlijk ook te maken hebben met de leeftijd van het domein.
groeten Marc
Het toevoegen van een xml sitemap in Google Webmaster tools heeft bij mij er al enkele malen voor gezorgd dat pagina’s die dieper lagen, wel geindexeerd werden.
Verder een leuk artikel, maar redelijk basic.
Waw, eindelijk een goeie blog waar duidelijke problemen aan bod komen en beantwoord worden! Schitterend.
ik ben een beetje ten einde raad wat mijn website betreft. Het heeft mij heel wat tijd en werk gekost om de eerste pagina geïndexeerd te krijgen. Nu merk ik echter dat ENKEL mijn eerste pagina geïndexeerd is. Deze staat nu ruim 2 maand online en nog zijn de onderliggende pagina’s niet gevonden. Ik gebruik nochtans heel gewone textlinks en vanaf de index kom je meteen op 3 onderliggende pagina’s die verder onderverdeeld worden met links.
is er iemand die mij kan helpen? Ik word stilaan hopeloos ;-)
klein detail, mijn website is in php maar er is geen variabele context…
Beste mensen,
Ik ben sinds februari gestart met een nieuwe site http://www.SolliciterenMetSucces.nl. Volgens mij volledig Google vriendelijk opgebouwd. Nu werd de site heel snel geindexeert en klom deze langzaam aan naar de eerste pagina van Google. Vervolgens ben ik gaan A/B testen met Adwords. Toen zakte mijn site ineens enorm in de organische resultaten. Vervolgens klom ik weer op tot afgelopen weekend waarin ik behoorlijk wat organische bezoekers en aanmeldingen kreeg. Sinds vandaag ben ik wéér helemaal terug gevallen!!!!! Balen!!!! Wat doe ik verkeerd. Keyword density is niet veranderd en maximaal slechts 3%. Linkaanvragen doe ik gedisciplineert en best veel. Geplaatste links (diversiteit aan pageranks van 0 tot 6)ongeveer 5 per week + advertenties op marktplaatsen. Is dit te veel?
Kan iemand mij helpen?
Groeten,
Bastin
SolliciterenMetSucces.nl
aanvulling: Ook een enorme diversiteit aan linknamen. Doe ik heel persoonlijk per pagina.
En google is zo veranderlijk…..lees dit maar eens (kwam ik vandaag via Twitter tegen).
http://bit.ly/d4T1pv
Iemand enig idee hoe lang je in de sandbox kunt zitten?
Net dat berichtje op twitter even gelezen,…
Heb ik even geluk
Ik zit met het volgende probleem me website komt maar niet in google.Maar met me oude domein naam stond die er binnen 1 dag in, me website is het zelfde gebleven alleen andere domein en deze door laten linken naar me website.
Wat moet ik veranderen om deze wel in google te krijgen.
Dan heb je waarschijnlijk last van Duplicat content. Oplossing is een 301 redirect op de oude site plaatsen.
Je kunt dan echter het oude domein niet meer gebruiken vanwege de redirect.
Ik heb een nieuwe website gelanceerd een ruime drie maanden geleden. Druk bezig geweest met artikelen plaatsen zodat er een unieke website ontstond. optimialisatie heb ik in het begin gedaan en er voor gezorgd dat de wordpress installatie goed in elkaar steekt.
Verder weinig gedaan aan linkbuilding. Mijn belangrijkste focus was/is het plaatsen van content. En Google pakte het tot 28 juli prima op. Bezoekers aantallen stegen per week met 50% hoofdzakelijk zoekmachine verkeer. Indexeren deed Google ook super goed en binnen een twee uur zaten nieuwe artikelen in de SERP
Nu sinds 28 juli ben ik als een gek in de SERP gekelderd met een zoekmachine afname van 95%. zoek ik op anglermaps dan sta ik wel hoog genoteerd maar op de zoektermen waar ik eerst heel goed op scoorde al ik nu helemaal weg of ben ik er helemaal uit.
Nieuwe artikelen worden slecht geindexeerd hoewel google nog steeds vaak spiderd. zoeken op geoptimaliseerde pagina titels in google geeft me ook niet meer weer in de SERP of een belachelijk lage positie.
Ik ben er echt super zuur van.
Is dit een gevalletje Sandbox (reden 2) Of heb ik toch iets verkeerd gedaan in de ogen van Google?
Wat moet ik doen? gewoon uitzitten en met goede moed verder gaan met de website?
Een vertwijfelde webmaster.
Denk gewoon een penalty. Om mij overigens onbekende reden.
Google eens op “Penalty checker” en vul je url eens in op 1 of meerdere van de websites die dan tevoorschijn komen.
Het zou mij niet verbazen.
“Over”optimalisatie zou een factor kunnen zijn. Kijk eens naar je keyword density.
Groeten Marc
Mmm…
Daar uit blijkt een -30 penalty…
Nu lees ik wel dat dergelijke penalty checkers niet werken.
In elk geval heb ik de veel gebruikte term viswater en visstek uit de titels en url gehaald. Nog een keer bij de checker gekeken en nu heeft de website geen penalty…
Blijkbaar wordt inhoud van de website gechecked.
Ik ga verder op onderzoek.