Co je X-Robots-Tag?
Značka X-Robots-Tag je nepovinná součást hlavičky odpovědi HTTP, která informuje vyhledávače o tom, jak mají webovou stránku prohledávat a indexovat. Na rozdíl od meta tagu robots, který je vyhrazen pro stránky HTML, lze X-Robots-Tag použít pro soubory, které nejsou HTML, jako jsou obrázky, textové soubory a soubory PDF.
Zde je příklad odpovědi HTTP se značkou X-Robots-Tag:
HTTP/1.1 200 OK Datum: X-Robots-Tag: noindex (...)Proč je značka X-Robots-Tag důležitá?
Značka X-Robots-Tag je důležitá, protože umožňuje kontrolovat, jak vyhledávače indexují a procházejí nejen stránky HTML, ale i jiné typy souborů. Tato možnost je užitečná zejména při správě rozsáhlých webových stránek s různými typy obsahu. Mezi hlavní výhody patří:
- Flexibilita: Použijte direktivy na jiné soubory než HTML, jako jsou PDF, obrázky a videa.
- Globální aplikace: Pomocí této značky můžete aplikovat pravidla na celý web nebo na konkrétní adresáře a typy souborů.
- Regulární výrazy: Použijte pokročilé vzory pro efektivní cílení na více adres URL.
Společné směrnice pro X-Robots-Tag
Pomocí značky X-Robots-Tag můžete použít jakoukoli direktivu, která je platná pro značku meta robots. Zde jsou některé běžně používané směrnice:
- noindex: Zabraňuje indexování stránky nebo souboru vyhledávači.
- nofollow: Zabraňuje vyhledávačům sledovat odkazy na stránce.
- žádné: Ekvivalentní k "noindex, nofollow".
- noarchive: Zabraňuje vyhledávačům zobrazovat verzi stránky uloženou v mezipaměti.
- nosnippet: Zabraňuje vyhledávačům zobrazit ve výsledcích vyhledávání úryvek stránky.
Chcete-li například nařídit robotu Google, aby neindexoval ani nesledoval žádné odkazy v souborech PDF, můžete použít:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Jak nastavit X-Robots-Tag
Na serveru Apache
Značku X-Robots-Tag můžete nastavit v souboru .htaccess nebo httpd.conf. Zde je návod, jak použít direktivu noindex na všechny soubory PDF:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>Na serveru NGINX
V případě služby NGINX můžete tuto směrnici přidat do souboru .conf webu:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Nastavení směrnic pro konkrétní procházení
Direktivy pro konkrétní procházení můžete zadat tak, že je pojmenujete:
Nastavení záhlaví X-Robots-Tag "googlebot: noindex, nofollow"Zobrazení značky X-Robots
Na rozdíl od metaznačky robots je značka X-Robots-Tag součástí hlavičky odpovědi HTTP a není viditelná v kódu HTML. Zde je návod, jak jej zobrazit v prohlížeči Google Chrome:
- Načtení adresy URL v prohlížeči Google Chrome.
- Kliknutím pravým tlačítkem myši na stránku a výběrem možnosti "Inspect" otevřete nástroje pro vývojáře.
- Vyberte kartu "Síť".
- Znovu načtěte stránku.
- Na levém panelu vyberte příslušný soubor; na pravém panelu se zobrazí hlavičky HTTP včetně značky X-Robots-Tag.
Nejčastější dotazy
Mohu používat značku X-Robots-Tag na stránkách HTML?
Ano, ale častěji se používá pro soubory jiné než HTML. Pro stránky HTML je jednodušší použít meta tag robots v kódu HTML.
Jak mohu otestovat, zda můj X-Robots-Tag funguje?
Pomocí nástroje Inspect ve vývojářských nástrojích prohlížeče zkontrolujte hlavičky odpovědi HTTP. Můžete také použít online nástroje, jako je například nástroj Google URL Inspection Tool.
Může značka X-Robots-Tag nahradit robots.txt?
Ne, značka X-Robots-Tag nemůže přepsat směrnice robots.txt. Pokud je adresa URL v souboru robots.txt zakázána, vyhledávače ji nebudou procházet a následně neuvidí ani směrnice X-Robots-Tag.
Pochopením a správnou implementací značky X-Robots-Tag získáte lepší kontrolu nad tím, jak vyhledávače interagují s různými typy souborů na vašich webových stránkách, a zlepšíte tak SEO a uživatelský komfort vašich stránek.
