Wat is de X-Robots-Tag?
De X-Robots-Tag is een optioneel onderdeel van de HTTP-responsheader die zoekmachines informeert hoe ze een webpagina moeten crawlen en indexeren. In tegenstelling tot de meta robots-tag, die is voorbehouden aan HTML-pagina's, kan de X-Robots-Tag worden gebruikt voor niet-HTML-bestanden zoals afbeeldingen, tekstbestanden en PDF's.
Hier is een voorbeeld van een HTTP-antwoord met een X-Robots-Tag:
HTTP/1.1 200 OK Datum: Tue, 15 Nov 2022 11:38:17 GMT Inhoud en codering: gzip (...) X-Robots-Tag: noindex (...)Waarom is de X-Robots-Tag belangrijk?
De X-Robots-Tag is belangrijk omdat je hiermee kunt bepalen hoe zoekmachines niet alleen HTML-pagina's maar ook andere bestandstypen indexeren en crawlen. Deze mogelijkheid is vooral handig voor het beheren van grote websites met een verscheidenheid aan inhoudstypen. De belangrijkste voordelen zijn:
- Flexibiliteit: Pas richtlijnen toe op niet-HTML-bestanden zoals PDF's, afbeeldingen en video's.
- Wereldwijde toepassing: Gebruik de tag om regels toe te passen op de hele site of op specifieke mappen en bestandstypen.
- Reguliere expressies: Gebruik geavanceerde patronen om meerdere URL's efficiënt te targeten.
Algemene richtlijnen voor X-Robots-Tag
Je kunt elke richtlijn gebruiken die geldig is voor de meta robots tag met de X-Robots-Tag. Hier zijn enkele veelgebruikte directives:
- noindex: Voorkomt dat de pagina of het bestand wordt geïndexeerd door zoekmachines.
- nofollow: Voorkomt dat zoekmachines links op de pagina volgen.
- none: Equivalent aan "noindex, nofollow."
- geen archief: Voorkomt dat zoekmachines een cacheversie van de pagina tonen.
- nosnippet: Voorkomt dat zoekmachines een snippet van de pagina weergeven in de zoekresultaten.
Om Googlebot bijvoorbeeld te instrueren geen links in PDF-bestanden te indexeren of te volgen, kun je het volgende gebruiken:
<Files ~ "\.pdf$"> Kopregel X-Robots-Tag "noindex, nofollow" </Files>De X-Robots-Tag instellen
Op Apache-server
Je kunt de X-Robots-Tag instellen in het .htaccess-bestand of het httpd.conf-bestand. Zo past u een noindex-richtlijn toe op alle PDF-bestanden:
<Files ~ "\.pdf$"> Kopregel set X-Robots-Tag "noindex" </Files>Op NGINX-server
Voor NGINX kun je de richtlijn toevoegen in het .conf-bestand van de site:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Richtlijnen instellen voor specifieke crawlers
Je kunt richtlijnen opgeven voor bepaalde crawlers door ze een naam te geven:
Kopregel X-Robots-Tag "googlebot: noindex, nofollow".De X-Robots-Tag bekijken
In tegenstelling tot de robots meta-tag, maakt de X-Robots-Tag deel uit van de HTTP-responsheader en is deze niet zichtbaar in de HTML-code. Zo kun je hem bekijken in Google Chrome:
- Laad de URL in Google Chrome.
- Klik met de rechtermuisknop op de pagina en selecteer "Inspecteren" om de ontwikkelaarstools te openen.
- Selecteer het tabblad "Netwerk".
- De pagina opnieuw laden.
- Selecteer het relevante bestand in het linkerpaneel; de HTTP-headers, inclusief de X-Robots-Tag, worden weergegeven in het rechterpaneel.
FAQs
Kan ik de X-Robots-Tag gebruiken voor HTML-pagina's?
Ja, maar het wordt vaker gebruikt voor niet-HTML-bestanden. Voor HTML-pagina's is het gemakkelijker om de meta robots-tag binnen de HTML-code te gebruiken.
Hoe test ik of mijn X-Robots-Tag werkt?
Gebruik de Inspect tool in de ontwikkelaarstools van je browser om de HTTP-reactieheaders te controleren. Je kunt ook online tools gebruiken zoals Google's URL Inspection Tool.
Kan de X-Robots-Tag robots.txt overschrijven?
Nee, de X-Robots-Tag kan de robots.txt-richtlijnen niet overschrijven. Als een URL niet is toegestaan in robots.txt, zullen zoekmachines deze URL niet crawlen en dus ook de X-Robots-Tag richtlijnen niet zien.
Door de X-Robots-Tag te begrijpen en op de juiste manier te implementeren, kun je fijnere controle krijgen over hoe zoekmachines omgaan met de verschillende bestandstypen op je website, waardoor de SEO en gebruikerservaring van je site worden verbeterd.
