Crawl Budget (budżet indeksowania) to termin używany w kontekście pozycjonowania stron internetowych, który odnosi się do liczby stron/podstron na stronie internetowej, które bot wyszukiwarki (np. Googlebot) jest skłonny i zdolny zeskanować w danym okresie.
Jest to istotne zagadnienie, ponieważ istnieje wiele stron www (na świecie około 1,7 miliarda serwisów), a boty wyszukiwarek internetowych mają ograniczone zasoby. Dlatego też wyszukiwarki muszą decydować, ile zasobów poświęcić na skanowanie każdej strony internetowej.
Crawl Budget jest zwykle ważniejszy dla większych stron, które mają tysiące lub miliony stron. Dla mniejszych stron, które mają mniej niż tysiąc podstron, to zazwyczaj nie jest problemem, ponieważ prawdopodobnie wszystkie ich strony zostaną zeskanowane lub indeksowane są w zasobach Google na bieżąco.
Główne czynniki wpływające negatywnie na budżet indeksowania:
- shackowane i zawirusowane strony;
- treści niskiej jakości – SPAM;
- często pojawiające się błędy 404;
- nawigacja fasetowa (filtrowanie po cechach – tworzenie podobnych podstron tj. duplikatów);
- strony z identyfikatorami sesji;
- podstrony z bardzo małą ilością danych;
- wewnętrzny duplicate content.
Czy Crawl budget ma wpływ na pozycjonowanie?
Crawl budget nie ma wpływu na pozycje. Indeksowanie jest konieczne, aby strona www oraz jej podstrony pojawiły się w wynikach wyszukiwania Google, ale nie jest to sygnał rankingowy (źródło: https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot?hl=pl) Im strona będzie szybciej skanowana i indeksowana do zasobów wyszukiwarki, tym szybciej użytkownicy będą mogli ją wygooglować.
Crawl budget a robots.txt
Plik robots.txt pozwala administratorom strony na kontrolowanie, które części strony są dostępne i w jakich odstępach czasowych dla botów wyszukiwarki do indeksowania. Na oficjalnej stronie Google jednak zastrzega, że blokowanie podstron (noindex) oraz ograniczanie częstotliwości indeksowania (crawl-delay) nie mają wpływu na budżet indeksowania.
Jakie czynniki wpływają na budżet indeksowania?
- Poprawna i zrozumiała przez roboty wyszukiwarek struktura strony;
- Mapa strony;
- Popularność serwisu – im popularniejsza strona tym częściej odwiedzana i indeksowana przez roboty;
- Brak błędów o których było wspomniane powyżej;
- Częsta aktualizacja serwisu;
- Szybkość działania strony;
Google Search Console – Twój strażnik indeksacji
Google Search Console jest darmowym narzędziem oferowanym przez Google, które pozwala właścicielom stron internetowych monitorować i zarządzać obecnością ich stron w wyszukiwarce Google. „Indeksowanie stron” to jedna z najważniejszych funkcji, które oferuje Google Search Console.
Raport – indeksowanie strony w wyszukiwarce Google. Źródło: opracowanie własne.
Narzędzie „Indeksowanie stron” pozwala na wykonanie następujących zadań:
Przesłanie strony do indeksu Google: Możesz prosić Google o zeskanowanie konkretnej strony na Twojej stronie internetowej i dodanie jej do indeksu Google. To jest szczególnie użyteczne, gdy dodajesz nową stronę lub dokonujesz istotnych zmian na istniejącej stronie.
Sprawdzenie statusu indeksowania strony: Możesz sprawdzić, czy konkretna strona jest zaindeksowana przez Google, oraz zobaczyć, kiedy została ostatnio zeskanowana.
Wyświetlenie błędów indeksowania: Google Search Console może wyświetlać błędy, które Google napotkał podczas próby indeksowania strony. Błędy te mogą obejmować problemy, takie jak niedostępność strony, błędy serwera, problemy z plikiem robots.txt i inne.
Wyświetlenie blokowanych zasobów: Jeśli na stronie są zasoby, które są zablokowane dla Googlebota (np. za pomocą pliku robots.txt), narzędzie indeksowania stron pokaże te zasoby, co pozwoli Ci zdecydować, czy powinny one być zablokowane.
Statystyki indeksowania przez Googlebota. Źródło: opracowanie własne.
Autor wpisu
Jakub Werelich
Specjalista SEO
