Het robots.txt bestand wordt gebruikt om delen van een website af te schermen voor bepaalde zoekmachine robots of spiders. Dit voorkomt zodoende dat bepaalde delen van de website opgenomen worden in de zoekresultaten. Ook zorgt dit ervoor dat de webserver minder belast wordt.

Het robots.txt bestand wordt in de rootdirectory (hoofdmap) van de website geplaatst.