Hvad er Robots.txt?
En robots.txt-fil begrænser webcrawlere, som f.eks. søgemaskiners bots, i at få adgang til bestemte URL'er på en hjemmeside. Den kan også bruges til at justere crawlinghastigheden for nogle webcrawlere.
Alle "gode" webcrawlere overholder de regler, der er angivet i robots.txt-filen. Der findes dog "dårlige" uregistrerede crawlere, der ofte bruges til scraping, og som fuldstændig ignorerer robots.txt-filen.
Filen robots.txt skal bruges til at reducere/optimere crawler-trafikken til et website, og den bør ikke bruges til at kontrollere indekseringen af websider. Selv om en URL ikke er tilladt i robots.txt, kan den stadig indekseres af Google, hvis den opdages via et eksternt link.
Syntaks for Robots.txt
Syntaksen i robots.txt-filen indeholder følgende felter:
- user-agent: den crawler, som reglerne gælder for
- disallow: en sti, der ikke må gennemsøges
- allow: en sti, der kan gennemsøges (valgfrit)
- sitemap: placering af sitemap-filen (valgfrit)
- crawl-delay: styrer crawl-hastigheden (valgfrit og ikke understøttet af GoogleBot)
Her er et eksempel:
Bruger-agent: RanktrackerSiteAudit Disallow: /resources/ Tillad: /resources/images/ Crawl-delay: 2 Sitemap: https://example.com/sitemap.xmlDenne robots.txt-fil instruerer RanktrackerSiteAudit-crawleren i ikke at crawle URL'er i biblioteket "/resources/" undtagen dem i "/resources/images/" og indstiller forsinkelsen mellem anmodningerne til 2 sekunder.
Hvorfor er filen Robots.txt vigtig?
Filen robots.txt er vigtig, fordi den gør det muligt for webmastere at kontrollere crawlernes adfærd på deres websites, optimere crawl-budgettet og begrænse crawlingen af website-sektioner, der ikke er beregnet til offentlig adgang.
Mange hjemmesideejere vælger at noindexere bestemte sider som f.eks. forfattersider, login-sider eller sider på et medlemssite. De kan også blokere for crawling og indeksering af gated ressourcer som PDF'er eller videoer, der kræver en e-mail opt-in for at få adgang.
Det er værd at bemærke, at hvis du bruger et CMS som WordPress, er login-siden /wp-admin/ automatisk blokeret fra at blive indekseret af crawlere.
Det er dog vigtigt at bemærke, at Google ikke anbefaler, at man udelukkende forlader sig på robots.txt-filen for at kontrollere indekseringen af sider. Og hvis du foretager ændringer på en side, f.eks. tilføjer et "noindex"-tag, skal du sørge for, at siden ikke er forbudt i robots.txt. Ellers vil Googlebot ikke være i stand til at læse den og opdatere sit indeks i tide.
Ofte stillede spørgsmål
Hvad sker der, hvis jeg ikke har en robots.txt-fil?
De fleste websteder har ikke absolut brug for en robots.txt-fil. Formålet med en robots.txt-fil er at kommunikere specifikke instruktioner til søgerobotter, men det er måske ikke nødvendigt, hvis du har et mindre websted eller et websted uden mange sider, som du har brug for at blokere for søgecrawlerne.
Når det er sagt, er der heller ingen ulempe ved at oprette en robots.txt-fil og have den liggende på dit website. Det gør det nemt at tilføje direktiver, hvis du får brug for det i fremtiden.
Kan jeg skjule en side for søgemaskiner ved hjælp af robots.txt?
Ja, at skjule sider for søgemaskiner er en af de primære funktioner i en robots.txt-fil. Du kan gøre det med disallow-parameteren og den URL, du vil blokere.
Det er dog vigtigt at bemærke, at blot det at skjule en URL for Googlebot ved hjælp af robots.txt-filen ikke garanterer, at den ikke bliver indekseret. I nogle tilfælde kan en URL stadig blive indekseret baseret på faktorer som teksten i selve URL'en, den ankertekst, der bruges i eksterne links, og konteksten på den eksterne side, hvor URL'en blev opdaget.
Hvordan tester jeg min robots.txt-fil?
Du kan validere din robots.txt-fil og teste, hvordan instruktionerne fungerer på specifikke URL'er ved hjælp af robots.txt-testeren i Google Search Console eller ved hjælp af eksterne validatorer, som den fra Merkle.
