Dag 14: Crawlbaarheid en Indexering: Hoe je je website zichtbaar maakt in Google
Dag 14
Gisteren heb je je site gescand met de hulp van WebSite Auditor.
Laten we nu eens kijken of het problemen heeft opgemerkt met toegankelijkheid, kapotte links of indexering.
Op dit punt gaan we ons focussen op de instructies voor indexering in jouw robots.txt bestand en de HTTP respons status codes.
Wat is robots.txt?
Een robots.txt-bestand is een tekstbestand dat zoekmachine bots vertelt welke pagina's of bestanden ze wel of niet kunnen bezoeken op jouw site.
Voor meer informatie kun je dit help-artikel gebruiken.
Robots.txt-bestand controleren met WebSite Auditor
Zorg ervoor dat jouw robots.txt-bestand beschikbaar is.
Als je niet zeker weet of je het hebt of niet, kun je het ‘robots.txt’-tabblad bekijken in de submodule Site Audit.
Als het robots.txt-bestand ontbreekt, is het een goed idee om er snel een aan te maken.
Je zult het vroeg of laat nodig hebben om dubbele pagina's en andere inhoud van je website te verbergen die je niet wilt laten zien aan zoekmachine bots.
Het enige wat je hoeft te doen, is naar de submodule ‘Pagina's’ te gaan en op Website Tools -> Robots.txt te klikken.
Als je robots.txt-bestand aanwezig is, moet je nu controleren of alle belangrijke pagina's worden geïndexeerd.
Ga hiervoor naar het tabblad "Bronnen uitgesloten van indexering" onder de submodule Site-audit.
Aan de rechterkant zie je de specifieke pagina's en bronnen die zijn uitgesloten.
Zorg ervoor dat alle belangrijke pagina’s geïndexeerd kunnen worden, en dus niét op deze pagina staan.
Pagina respons codes
Laten we nu eens de responscodes van de pagina's bekijken.
Het controleren van fouten in de HTTP-antwoordcode kost slechts 5 minuten van je tijd, maar het geeft je een duidelijk inzicht in de oorzaak van indexering problemen.
Ga naar de pagina ‘Indexering en crawlbaarheid’, en kijk hier naar de ‘4xx-status code’, de ‘5xx-statuscode’ en de ‘404-pagina correct ingesteld’
Neem gerust even de tijd om ze door te nemen.
Zorg ervoor dat geen van de eerder genoemde factoren een foutstatus heeft.
Als dat wel het geval is, kijk dan in het ‘statusvak’ in de rechterhelft van je scherm om aanbevelingen te zien voor het corrigeren van deze pagina's.
Dat was het weer voor vandaag!
Nu weet je hoe je kunt controleren of er problemen zijn met de indexering en crawlbaarheid van jouw website.
Als je vragen hebt, laat ze dan gerust achter in de opmerkingen hieronder.
Dan helpen we je gerust verder!
Wat leer je morgen?
Morgen gaan we verder met het oplossen van ‘Redirects’ problemen.
Dat is namelijk ook belangrijk voor de prestatie van je website.
Tot morgen!
