Robots.txt

Met dit bestandje geef je de zoekmachine robots door welke pagina’s ze wel en welke ze niet mogen bezoeken. Het is dus een heel belangrijk bestand voor de indexatie van jouw website.

Het verbieden van bepaalde pagina’s mbv de robots.txt is echter geen garantie dat bepaalde zoekmachines de pagina’s toch indexeren.

Voor dat je een Robots.txt bestand kunt maken, moet je eerst zorgen dat de Robots.txt instellingen goed zijn.

Klik op

om het robots.txt

betand op te halen.

Klik op

om een extra Robots.txt

instructie toe te voegen.

Klik op Volgende > om het Robots.txt bestand te publiceren.

Het Robots.txt bestand wordt gepubliceerd.