Robots.txt
Met dit bestandje geef je de zoekmachine robots door welke pagina’s ze wel en welke ze niet mogen bezoeken. Het is dus een heel belangrijk bestand voor de indexatie van jouw website.
Het verbieden van bepaalde pagina’s mbv de robots.txt is echter geen garantie dat bepaalde zoekmachines de pagina’s toch indexeren.
Voor dat je een Robots.txt bestand kunt maken, moet je eerst zorgen dat de Robots.txt instellingen goed zijn.
Klik op
om het robots.txt
betand op te halen.
Klik op
om een extra Robots.txt
instructie toe te voegen.
Klik op Volgende > om het Robots.txt bestand te publiceren.
Het Robots.txt bestand wordt gepubliceerd.