Robots.txt is een tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke delen ze wel en niet mogen crawlen. Het stuurt het gedrag van crawlers en helpt om crawlbudget te besparen op onbelangrijke pagina’s. Het is een basisinstrument binnen de technische SEO van elke website.

Wat doet robots.txt?

Met regels als “Allow” en “Disallow” geef je per crawler aan welke mappen of pagina’s toegankelijk zijn. Zo houd je bijvoorbeeld interne zoekresultaten of testpagina’s buiten het crawlproces, zodat crawlers hun tijd aan belangrijke pagina’s besteden.

Robots.txt en indexeren

Belangrijk: robots.txt blokkeert crawlen, niet per se indexeren. Een geblokkeerde pagina kan soms alsnog in de resultaten verschijnen als ernaar gelinkt wordt. Wil je een pagina echt uit de index houden, gebruik dan een noindex-instructie.

Veelgemaakte fouten

Een verkeerd geplaatste “Disallow” kan per ongeluk je hele site blokkeren voor zoekmachines, met groot verkeersverlies tot gevolg. Controleer wijzigingen daarom altijd en verwijs in het bestand naar je sitemap.

Heeft elke site een robots.txt nodig?

Niet strikt, maar het geeft je controle over crawlen. Zonder bestand mogen crawlers in principe alles bezoeken.

Waar staat het bestand?

In de hoofdmap van je domein, bereikbaar via jouwdomein.nl/robots.txt.