Officiële SEO PowerSuite Reseller & Trainer
+31 (0)53-2340100

robots.txt

Het robots.txt bestand wordt automatisch gecrawld door robots wanneer ze op jouw website komen. Dit bestand moet instructies voor robots bevatten, zoals welke pagina wel of niet geïndexeerd moeten worden. Als je sommige pagina wilt uitsluiten (bijv. pagina's met privé of dubbele inhoud), gebruikt dan een instructie regel in het robots.txt bestand. Voor meer informatie over zulke regels, zie https://www.robotstxt.org/robotstxt.html Hou er wel rekening mee dat instructies in het robots.txt bestand meer gelden als suggesties, dan als orders. Er is geen garantie dat sommige robots de uitgesloten pagina's niet crawlen. Als je dus geheime of gevoelige informatie hebt op jouw website, is robots.txt niet de manier om het te verbergen voor het publiek.

Download SEO PowerSuite Gratis

Ongeldige invoer
Ongeldige invoer
Ongeldige invoer
© 2019 Cloud Workx - Zevenblad 23, 7623 CH Borne, Nederland | KVK 08144910 +31 (0)53-2340100