Бюджет за пълзене

Какво е бюджет за пълзене?

Бюджетът за обхождане е количеството време и ресурси, които търсачката отделя за обхождане на даден уебсайт. С други думи, това е максималният брой страници, които търсачката може да обходи на вашия сайт в рамките на определен период от време. Бюджетът за обхождане може да бъде различен за различните търсачки (или обхождащи машини).

Google заявява, че не трябва да се притеснявате за бюджета за обхождане, освен ако:

• Сайтът ви има над 1 милион уникални страници със съдържание, което се променя около веднъж седмично.
• Имате среден по големина уебсайт (около 10 хил. страници) и често променяте съдържанието (ежедневно).
• Управлявате новинарски уебсайт.
• Search Console класифицира по-голямата част от URL адресите на сайта ви като "Открити - в момента не са индексирани".

Всеки уебсайт получава различен бюджет за обхождане въз основа на два основни фактора:

1. Търсене на обхождане: Определя се от броя на страниците, честотата на публикуване/актуализиране и популярността на страниците.
2. Ограничение на скоростта на обхождане: Влияние оказват възможностите на сървъра, ограничението за обхождане, зададено от собственика на сайта в конзолата за търсене, ограничението за обхождане на търсачката и автоматичните корекции на Google въз основа на времето за реакция на сървъра.

Защо е важен бюджетът за пълзене?

Бюджетът за обхождане е важен, тъй като влияе на това колко страници може да обходи Googlebot на вашия сайт и колко често Googlebot може да обхожда отново уеб страниците ви, за да актуализира индекса си. Google разполага с огромни ресурси, но не може да обхожда (и редовно да претърсва) всички страници в интернет. В резултат на това Google разпределя бюджет за обхождане на уебсайтове.

За да сте сигурни, че бюджетът ви за обхождане не се изразходва напразно за маловажни страници, се съсредоточете върху оптимизиране на ефективността на обхождане на уебсайта ви.

Как да увеличите бюджета за обхождане?

1. Ускоряване на сървъра и намаляване на времето за зареждане на страниците

Времето за реакция на сървъра и скоростта на зареждане на страницата оказват пряко влияние върху обхождането. Когато Googlebot обхожда сайта ви, той първо изтегля ресурсите и след това ги обработва. Ако сървърът ви реагира бързо, Googlebot може да обхожда повече страници на сайта ви.

• Използвайте бърза и надеждна услуга за уеб хостинг и мрежа за доставка на съдържание (CDN), за да подобрите първоначалното време за реакция на сървъра.
• Намалете времето за зареждане на страниците, като предотвратите обхождането на големи, но некритични ресурси с помощта на robots.txt, избягвате дълги вериги за пренасочване и премахвате тежки и лошо кодирани теми и плъгини.

2. Добавяне на повече връзки

Броят на връзките към дадена страница показва нейната важност за Google. Googlebot обхожда приоритетно страници с повече обратни и вътрешни връзки. Увеличете бюджета си за обхождане, като добавите повече външни и вътрешни връзки към страниците си.

• За да получите предложения за вътрешно свързване, проверете уебсайта си с помощта на инструменти като Одит на сайта на Ranktracker.

3. Поправяне на счупени връзки и намаляване на пренасочванията

Прекалено много счупени вътрешни връзки (кодове за отговор 404 или 410) и пренасочени URL адреси (3xx) могат да пропилеят бюджета за обхождане на сайта ви. Поправете счупените връзки и ненужните пренасочвания, за да оптимизирате бюджета си за обхождане.

• Използвайте инструменти като Одит на сайта на Ranktracker, за да откриете счупени и пренасочващи се URL адреси в сайта си.

4. Използвайте API за индексиране, ако е възможно

API за индексиране ви позволява да уведомявате директно Google, когато добавяте, премахвате или актуализирате страници в сайта си. Това помага за по-бързото обхождане на страниците ви.

• Бележка: API за индексиране в момента е наличен за специфични случаи на употреба, като видеоклипове на живо и обяви за работа.

Често задавани въпроси

Спазва ли Googlebot закъснението при обхождане в Robots.txt?

Не, Googlebot не се съобразява с настройките за забавяне на обхождането, приложени във файла robots.txt.

Кога трябва да се интересувате от бюджета за пълзене?

Трябва да се погрижите за бюджета за обхождане, ако управлявате много голям сайт (повече от 1 милион страници) или среден по големина сайт с много чести (ежедневни) промени в съдържанието. Повечето сайтове не трябва да се притесняват за бюджета за обхождане.

Как мога да проверя бюджета за обхождане на моя уебсайт?

Никъде няма да намерите точния брой на бюджета за пълзене. Въпреки това можете да проверите прегледа на активността на обхождане на Google в отчета Crawl Stats в Google Search Console.

За повече информация относно подобряването на SEO оптимизацията на вашия уебсайт и ефективността на обхождане посетете блога на Ranktracker и разгледайте нашето изчерпателно ръководство за SEO. Освен това се запознайте с ключови SEO термини и концепции в нашия SEO речник.