Wat is robots.txt?

Wanneer zoekmachines zoals Google jouw website bezoeken, gebruiken ze bots om webpagina’s te crawlen en te analyseren. Deze bots bepalen vervolgens welke pagina’s in de zoekresultaten kunnen verschijnen.

Met behulp van een robots.txt bestand kun je zoekmachines instructies geven over welke pagina’s ze wel of niet mogen crawlen. Hierdoor krijg je meer controle over hoe zoekmachines jouw website bekijken.

Maar wat is robots.txt precies en waarom is het belangrijk voor SEO?

Een robots.txt bestand is een eenvoudig tekstbestand dat zich in de hoofdmap van je website bevindt. Dit bestand geeft instructies aan zoekmachinebots over welke pagina’s of delen van je website ze mogen crawlen.

Zoekmachines zoals Google gebruiken crawlers om websites te scannen. Wanneer een crawler jouw website bezoekt, kijkt deze eerst naar het robots.txt bestand. In dit bestand staat welke pagina’s wel of niet bezocht mogen worden.

Het robots.txt bestand kan bijvoorbeeld worden gebruikt om:

• bepaalde pagina’s te blokkeren voor zoekmachines
• bots naar de sitemap te verwijzen
• het crawlbudget efficiënter te gebruiken
• dubbele content te beperken

Hoewel robots.txt geen verplicht onderdeel is van een website, kan het helpen om zoekmachines beter door je website te laten navigeren.

Een robots.txt bestand bestaat uit eenvoudige regels die instructies geven aan zoekmachinebots. Deze regels worden directives genoemd.

Een basisvoorbeeld van een robots.txt bestand is:

User-agent: *
Disallow: /admin/

Hiermee geef je aan dat alle bots geen toegang hebben tot de map /admin/.

De belangrijkste onderdelen van robots.txt zijn:

User-agent
Hiermee geef je aan voor welke bot de instructies gelden.

Disallow
Hiermee blokkeer je bepaalde pagina’s of mappen.

Allow
Hiermee geef je bots juist toestemming om bepaalde pagina’s te crawlen.

Sitemap
Hiermee kun je de locatie van je XML-sitemap aangeven.

Het robots.txt bestand moet altijd geplaatst worden in de root directory van je website, bijvoorbeeld:

jouwdomein.nl/robots.txt

Je kunt controleren of jouw robots.txt bestand correct werkt met verschillende tools.

Handige tools hiervoor zijn:

• Google Search Console
• Screaming Frog
• handmatige controle via jouwdomein.nl/robots.txt

In Google Search Console kun je bijvoorbeeld zien:

• welke pagina’s door Google worden gecrawld
• welke pagina’s geblokkeerd zijn
• of er fouten in robots.txt staan

Het is belangrijk om robots.txt regelmatig te controleren. Een fout in het bestand kan namelijk voorkomen dat belangrijke pagina’s worden geïndexeerd.