SEOMaster
Robot / crawler
Program wyszukiwarki odwiedzający strony.
Robot / crawler w 30 sekund
- 01 · Zrozum: Crawler (robot, np.
- 02 · Sprawdź: Skorzystaj ze „Sprawdzenia adresu URL” w Search Console, by zobaczyć, jak Googlebot widzi stronę.
- 03 · Unikaj: Treść dostępna tylko po wykonaniu JavaScript, której robot nie złapie
Co to jest Robot / crawler?
Crawler (robot, np. Googlebot) to program wyszukiwarki, który automatycznie odwiedza strony: pobiera HTML, czyta treść i podąża za linkami, by odkrywać kolejne adresy. Tak powstaje mapa internetu, z której budowany jest indeks.
Robot ma ograniczony „budżet” na każdą witrynę, więc dobrze nie marnować go na nieistotne czy zapętlone adresy. Część robotów potrafi renderować JavaScript, ale kosztuje to czas i bywa opóźnione.
Dlaczego to ważne dla SEO
Jeśli robot nie pobierze i nie zrozumie treści, nie trafi ona do wyników. Ułatwienie mu pracy (czytelne linki, sitemap, brak zbędnych blokad) wprost wspiera indeksację.
Jak to sprawdzić
Skorzystaj ze „Sprawdzenia adresu URL” w Search Console, by zobaczyć, jak Googlebot widzi stronę. Logi serwera pokazują, które roboty i jak często ją odwiedzają.
Częste błędy
- Treść dostępna tylko po wykonaniu JavaScript, której robot nie złapie
- Pułapki crawlera (nieskończone kombinacje parametrów)
- Blokowanie zasobów potrzebnych do renderowania
Przykład
Googlebot → pobiera HTML → czyta linki → kolejne adresy do odwiedzenia
Najczęstsze pytania
Czym crawler różni się od indeksera?
Crawler pobiera strony i podąża za linkami. Indekser decyduje, co z pobranej treści trafi do bazy wyszukiwarki. Pobranie nie oznacza indeksacji.
Co to jest budżet indeksowania?
Liczba adresów, którą robot pobierze z Twojej domeny w danym okresie. Ma znaczenie dopiero przy dziesiątkach tysięcy podstron; mniejsze serwisy nie muszą się nim przejmować.
Jak sprawdzić, czy robot był u mnie?
W logach serwera po nazwie klienta, albo w Search Console w statystykach indeksowania, gdzie widać liczbę żądań i czas odpowiedzi.
Poradniki na ten temat
- Dlaczego strona nie jest w Google i jak to naprawić — Zanim zaczniesz cokolwiek poprawiać, ustal, na którym z trzech etapów strona wypada: pobranie, indeksacja czy ranking. Każdy ma inne objawy i zupełnie inną naprawę.