Crawlen is het proces waarbij zoekmachines met geautomatiseerde bots (crawlers) het web afstruinen om pagina’s te ontdekken en te lezen. De crawler volgt links van pagina naar pagina en verzamelt zo de inhoud die daarna kan worden geïndexeerd. Zonder crawlen weet Google niet dat je pagina’s bestaan.

Hoe werkt crawlen?

Een crawler, zoals Googlebot, start bij bekende pagina’s en volgt de links die het tegenkomt. Nieuwe en gewijzigde pagina’s worden zo ontdekt. Een goede interne linkstructuur en een actuele sitemap helpen crawlers je site efficiënt te doorlopen.

Crawlen sturen

Met het robots.txt-bestand geef je aan welke delen van je site wel of niet gecrawld mogen worden. Zo voorkom je dat onbelangrijke pagina’s onnodig crawlbudget opslokken. Dit hoort bij technische SEO.

Crawlen versus indexeren

Crawlen is het ontdekken en lezen van een pagina; indexeren is het opslaan ervan in de zoekindex. Een pagina moet eerst gecrawld worden voordat die geïndexeerd en getoond kan worden.

Wat is crawlbudget?

Dat is het aantal pagina’s dat een zoekmachine binnen een bepaalde tijd op je site crawlt. Vooral voor grote sites is efficiënt crawlen belangrijk.

Hoe vaak crawlt Google mijn site?

Dat hangt af van de grootte, autoriteit en updatefrequentie van je website.