Mi az X-Robots-címke?
Az X-Robots-tag a HTTP-válaszfejléc opcionális eleme, amely tájékoztatja a keresőmotorokat arról, hogy hogyan kell feltérképezni és indexelni egy weboldalt. A meta robots taggel ellentétben, amely a HTML oldalak számára van fenntartva, az X-Robots-Tag használható nem HTML fájlok, például képek, szöveges fájlok és PDF-ek esetében.
Íme egy példa egy X-Robots-címkével ellátott HTTP-válaszra:
HTTP/1.1 200 OK Dátum: HTTP/1.1 200 OK X-Robots-Tag: noindex (...)Miért fontos az X-Robots-címke?
Az X-Robots-tag azért fontos, mert lehetővé teszi, hogy a keresőmotorok nemcsak a HTML oldalakat, hanem más fájltípusokat is indexeljenek és feltérképezzenek. Ez a képesség különösen hasznos a különböző tartalomtípusokat tartalmazó nagy weboldalak kezelésénél. A legfontosabb előnyök a következők:
- Rugalmasság: Irányelvek alkalmazása nem HTML-fájlokra, például PDF-ekre, képekre és videókra.
- Globális alkalmazás: A címke használatával a szabályokat az egész webhelyre vagy meghatározott könyvtárakra és fájltípusokra alkalmazhatja.
- Szabályos kifejezések: Fejlett minták alkalmazása több URL-cím hatékony megcélzásához.
Közös irányelvek az X-Robots-Tag számára
Az X-Robots-Taggel bármilyen, a meta robots tagre érvényes direktívát használhat. Íme néhány általánosan használt direktíva:
- noindex: Megakadályozza, hogy az oldalt vagy fájlt a keresőmotorok indexeljék.
- nofollow: Megakadályozza, hogy a keresőmotorok kövessék az oldalon található linkeket.
- nincs: A "noindex, nofollow"-nak felel meg.
- noarchive: Megakadályozza, hogy a keresőmotorok megjelenítsék az oldal gyorsítótárazott változatát.
- nosnippet: Megakadályozza, hogy a keresőmotorok megjelenítsék az oldal egy részletét a keresési eredményekben.
Például, ha a Googlebotot arra utasítja, hogy ne indexeljen vagy kövessen semmilyen linket PDF fájlokban, használhatja a következőt:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>Az X-Robots-Tag beállítása
Apache szerveren
Az X-Robots-Tag-et a .htaccess fájlban vagy a httpd.conf fájlban állíthatja be. Így alkalmazza a noindex utasítást az összes PDF-fájlra:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex" </Files>Az NGINX szerveren
Az NGINX esetében a webhely .conf fájljában adhatja hozzá a direktívát:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Irányelvek beállítása specifikus lánctalpasok számára
Az egyes lánctalpasok számára irányelveket adhat meg, ha elnevezi őket:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Az X-Robots-címke megtekintése
A robots meta taggel ellentétben az X-Robots-Tag a HTTP válasz fejléc része, és nem látható a HTML kódban. A Google Chrome-ban a következőképpen tekintheti meg:
- Töltse be az URL-címet a Google Chrome-ban.
- Kattintson a jobb gombbal az oldalra, és válassza az "Ellenőrzés" lehetőséget a fejlesztői eszközök megnyitásához.
- Válassza a "Hálózat" lapot.
- Töltse újra az oldalt.
- Válassza ki a megfelelő fájlt a bal oldali panelen; a jobb oldali panelen megjelennek a HTTP fejlécek, beleértve az X-Robots-Tag-et is.
GYIK
Használhatom az X-Robots-tag-et HTML oldalakon?
Igen, de ez inkább a nem HTML-fájlok esetében használatos. HTML oldalak esetében egyszerűbb a meta robots taget használni a HTML kódon belül.
Hogyan tesztelhetem, hogy működik-e az X-Robots-Tag?
A böngésző fejlesztői eszközeinek Inspect eszközével ellenőrizheti a HTTP-válasz fejléceit. Használhat online eszközöket is, például a Google URL-ellenőrző eszközét.
Az X-Robots-tag felülbírálhatja a robots.txt-t?
Nem, az X-Robots-tag nem írhatja felül a robots.txt irányelveket. Ha egy URL-cím tiltva van a robots.txt-ben, a keresőmotorok nem fogják feltérképezni, és következésképpen nem fogják látni az X-Robots-Tag irányelveket.
Az X-Robots-tag megértésével és megfelelő alkalmazásával finomabb ellenőrzést nyerhet a keresőmotorok interakciója felett a webhely különböző fájltípusaival, javítva ezzel a webhely SEO-ját és felhasználói élményét.
