Google je website laten crawlen: zo werkt het
Wil je dat nieuwe of bijgewerkte pagina’s zichtbaar worden in Google? Dan moet Google ze eerst kunnen ontdekken en crawlen. Crawlen betekent dat Googlebot webpagina’s bezoekt en de inhoud uitleest. Dat is een belangrijke stap, maar het betekent niet automatisch dat een pagina ook in de zoekresultaten verschijnt.
Wat is het verschil tussen crawlen en indexeren?
Bij het crawlen bezoekt Googlebot een pagina en haalt informatie op. Daarna beoordeelt Google of de pagina geschikt is om op te nemen in de zoekindex. Dat heet indexeren. Pas wanneer een pagina is geïndexeerd, kan deze mogelijk verschijnen in de organische zoekresultaten.
Google bepaalt zelf wanneer en hoe vaak het een website crawlt. Een verzoek om een pagina te crawlen is daarom geen garantie dat Google de pagina meteen bezoekt of indexeert.
Zo help je Google je website te ontdekken
Controleer of Google toegang heeft
Controleer eerst of je pagina bereikbaar is voor bezoekers én voor Googlebot. Een pagina kan bijvoorbeeld onbedoeld worden geblokkeerd door een regel in het bestand robots.txt, een wachtwoordbeveiliging of een technische fout.
Let op: robots.txt kan crawlen blokkeren, maar is niet bedoeld om een pagina gegarandeerd uit de zoekresultaten te houden. Wil je voorkomen dat een pagina wordt geïndexeerd, gebruik dan doorgaans een passende noindex-instructie en zorg dat Google de pagina kan crawlen om die instructie te lezen.
Dien een XML-sitemap in
Een XML-sitemap is een overzicht van belangrijke URL’s op je website. De sitemap kan Google helpen pagina’s te ontdekken, vooral wanneer je website nieuw is of veel pagina’s bevat. Vermeld alleen URL’s die je wilt laten indexeren en die de statuscode 200 teruggeven.
Je kunt de sitemap indienen via Google Search Console. Een sitemap is geen garantie voor indexering, maar maakt het voor Google makkelijker om je URL’s te vinden.
Gebruik interne links
Link vanaf relevante pagina’s naar nieuwe of belangrijke content. Interne links helpen bezoekers én zoekmachines om de structuur van je website te begrijpen. Pagina’s waar nergens naartoe wordt gelinkt, zijn lastiger te ontdekken.
Controleer de pagina in Search Console
Met de URL-inspectietool in Google Search Console kun je een specifieke URL controleren. Je ziet bijvoorbeeld of Google de pagina kent, wanneer deze voor het laatst is gecrawld en of er bekende problemen zijn. Als de pagina geschikt is, kun je via deze tool een indexering aanvragen.
Een aanvraag kan handig zijn na het publiceren of aanpassen van een pagina. Google bepaalt echter zelf of en wanneer de pagina opnieuw wordt gecrawld.
Zorg voor een goed werkende website
Een website die vaak fouten geeft of langzaam reageert, kan het crawlen bemoeilijken. Controleer daarom op serverfouten, kapotte links en onnodige doorverwijzingen. Zorg er ook voor dat belangrijke content toegankelijk is zonder dat bezoekers eerst formulieren moeten invullen of moeten inloggen.
Waarom wordt mijn pagina niet gecrawld of geïndexeerd?
Er kunnen verschillende oorzaken zijn. Denk bijvoorbeeld aan:
- De pagina is nieuw en Google heeft deze nog niet ontdekt.
- De URL wordt geblokkeerd door
robots.txt. - De pagina bevat een
noindex-instructie. - De pagina geeft een foutmelding, zoals een 404- of serverfout.
- Er zijn weinig of geen interne links naar de pagina.
- De inhoud is erg vergelijkbaar met andere pagina’s of biedt weinig zelfstandige waarde.
- Google heeft de pagina wel gecrawld, maar besluit deze niet te indexeren.
De URL-inspectietool in Search Console kan aanwijzingen geven. Controleer daarnaast de instellingen van je website, de technische status van de URL en de kwaliteit en originaliteit van de inhoud.
Hoe lang duurt het voordat Google een website crawlt?
Daar bestaat geen vaste termijn voor. Een nieuwe pagina kan snel worden ontdekt, maar het kan ook langer duren. De snelheid hangt onder meer af van hoe vaak Google je website bezoekt, hoe makkelijk de pagina te vinden is en of de website technische problemen heeft.
Blijf niet herhaaldelijk indexering aanvragen in de verwachting dat dit het proces versnelt. Controleer liever of de pagina toegankelijk is, goed intern gelinkt wordt en in de sitemap staat. Geef Google vervolgens tijd om de wijziging te verwerken.
Checklist: Google je pagina laten crawlen
- De pagina is online en geeft een succesvolle statuscode terug.
- Googlebot wordt niet onbedoeld geblokkeerd.
- De pagina bevat geen ongewenste
noindex-instructie. - De URL staat in de XML-sitemap.
- Er zijn relevante interne links naar de pagina.
- De URL is gecontroleerd met Google Search Console.
- De pagina bevat nuttige, unieke informatie voor bezoekers.
Samengevat
Om Google je website te laten crawlen, moet Google de pagina kunnen bereiken en ontdekken. Een XML-sitemap, goede interne links en een technisch gezonde website helpen daarbij. Met Google Search Console kun je de status controleren en eventueel een crawl- of indexeringsaanvraag indienen. Uiteindelijk beslist Google zelf of een pagina wordt gecrawld en opgenomen in de zoekresultaten.
Veelgestelde vragen over het crawlen van websites door Google
- Wat betekent het als Google mijn website crawlt?
- Hoe kan ik Google vragen mijn website of pagina te crawlen?
- Hoe lang duurt het voordat Google een nieuwe pagina crawlt?
- Waarom crawlt Google mijn website of pagina niet?
- Wat is het verschil tussen crawlen en indexeren door Google?
- Helpt een XML-sitemap om Google mijn website te laten crawlen?
Wat betekent het als Google mijn website crawlt?
Als Google je website crawlt, bezoekt Googlebot de pagina’s en leest het de inhoud en links om te begrijpen waar je website over gaat. Zo kan Google nieuwe of bijgewerkte pagina’s ontdekken en beoordelen of ze geschikt zijn voor opname in de zoekindex. Crawlen betekent dus niet automatisch dat je pagina ook wordt geïndexeerd of in de zoekresultaten verschijnt.
Hoe kan ik Google vragen mijn website of pagina te crawlen?
Je kunt Google vragen een pagina te crawlen via Google Search Console. Gebruik de URL-inspectietool om de pagina te controleren en klik, als dat mogelijk is, op ‘Indexering aanvragen’. Voor meerdere pagina’s kun je een XML-sitemap indienen via Search Console. Zorg er ook voor dat Google de pagina kan bereiken en dat deze niet wordt geblokkeerd door bijvoorbeeld een robots.txt-regel of een noindex-instructie. Een aanvraag is geen garantie op direct crawlen of indexeren; Google bepaalt zelf wanneer en of de pagina wordt opgenomen in de zoekresultaten.
Hoe lang duurt het voordat Google een nieuwe pagina crawlt?
Hoe lang het duurt voordat Google een nieuwe pagina crawlt, verschilt per website en URL. Soms ontdekt Google de pagina binnen enkele uren of dagen, maar het kan ook langer duren. Een XML-sitemap, duidelijke interne links en een goed bereikbare website kunnen Google helpen de pagina sneller te vinden. Via Google Search Console kun je de URL controleren en een crawl aanvragen, maar dat garandeert niet dat Google de pagina meteen crawlt of indexeert.
Waarom crawlt Google mijn website of pagina niet?
Google crawlt een website of pagina niet altijd meteen. Mogelijke oorzaken zijn dat de pagina nieuw is of moeilijk te vinden, dat Googlebot wordt geblokkeerd door robots.txt, of dat de pagina een noindex-instructie bevat. Ook serverfouten, kapotte links of weinig interne verwijzingen kunnen het crawlen bemoeilijken. Controleer de URL met de URL-inspectietool in Google Search Console en kijk of de pagina toegankelijk is, geen crawlbeperkingen heeft en via interne links of een XML-sitemap gevonden kan worden. Houd er rekening mee dat een crawlverzoek geen garantie is: Google bepaalt zelf wanneer een pagina wordt bezocht en of deze wordt geïndexeerd.
Wat is het verschil tussen crawlen en indexeren door Google?
Crawlen is wanneer Googlebot een webpagina bezoekt en de inhoud ervan uitleest. Daarna beoordeelt Google of de pagina geschikt is om op te nemen in zijn zoekindex; dat heet indexeren. Een pagina kan dus wel zijn gecrawld, maar niet zijn geïndexeerd. Alleen geïndexeerde pagina’s kunnen in de organische zoekresultaten van Google verschijnen.
Helpt een XML-sitemap om Google mijn website te laten crawlen?
Ja, een XML-sitemap kan Google helpen de belangrijke pagina’s op je website te ontdekken, vooral als je website nieuw is of veel pagina’s heeft. Je kunt de sitemap indienen via Google Search Console. Een sitemap garandeert echter niet dat Google alle URL’s crawlt of indexeert. Zorg daarom ook voor goede interne links en controleer of je pagina’s toegankelijk zijn voor Googlebot.