Robots.txt

Wat is een Robots.txt?

Een robots.txt is een bestand dat instructies bevat vanuit de server voor webcrawlers en andere robots over welke pagina's van een website ze mogen bezoeken of niet. Het bestand wordt gebruikt om bepaalde pagina's uit te sluiten van indexering door zoekmachines, wat kan leiden tot een slechtere positie in de zoekresultaten maar ook verbeteringen.