Officiële SEO PowerSuite Reseller & Trainer

Robots.txt

Maak en beheer robots.txt. Welke pagina's zijn toegankelijk? Wie mag afbeeldingen scannen?

Robots.txt

Start Website Auditor en open een project. Ga naar de pagina module en klik op de robots.txt knop.

Als jouw website al een robots.txt bestand heeft, dan gebruikt WebSite Auditor dit bestand wanneer je een project maakt of herbouwt en wordt het getoond in het wizard scherm. Je kunt dan robots.txt instructies toevoegen, bewerken, verwijderen en prioriteren.

Als er pagina's zijn die je wilt verbergen voor de zoekmachines, zoals bijvoorbeeld login pagina's, scripts, dubbele content of print versies van HTML pagina's, maak dan een disallow rule. Klik daarvoor op de Regel Toevoegen knop, kies de disallow instructie, kies Alle robots, kies een map of pagina uit de lijst en klik op OK. Als je een specifieke robot toegang tot deze pagina wilt geven, maak dan een allow rule.

Klik nogmaals op Regel Toevoegen, kies de allow instructie, kies een robot zoals Bing bot, selecteer dezelfde pagina en klik op OK. Om de regel te testen, klik op het Test tabblad. Hier kun je zien dat jouw pagina verboden is voor alle robots, behalve Bing. Wanneer al jouw regels klaar zijn, klik op Volgende. Sla het robots.txt lokaal op of upload het direct naar de website via FTP. Als je kiest voor het uploaden, geef dan eerst de FTP server gegevens op. Er wordt dan verbinding gemaakt met de website server.

De instellingen worden bewaard voor de volgende keer. Om de instellingen te wijzigen, ga je naar Instellingen >> Robots.txt instellingen.

WebSite Auditor Training, robots.txt, robot txt, robots text, robot text .

© 2017 Cloud Workx - Zevenblad 23, 7623 CH Borne, Nederland | KVK 08144910 - BTW 137765149B01 - +31 (0)53-2340100