SEOMaster
Robot / crawler
Program wyszukiwarki odwiedzający strony.
Co to jest Robot / crawler?
Crawler (robot, np. Googlebot) to program wyszukiwarki, który automatycznie odwiedza strony: pobiera HTML, czyta treść i podąża za linkami, by odkrywać kolejne adresy. Tak powstaje mapa internetu, z której budowany jest indeks.
Robot ma ograniczony „budżet” na każdą witrynę, więc dobrze nie marnować go na nieistotne czy zapętlone adresy. Część robotów potrafi renderować JavaScript, ale kosztuje to czas i bywa opóźnione.
Dlaczego to ważne dla SEO
Jeśli robot nie pobierze i nie zrozumie treści, nie trafi ona do wyników. Ułatwienie mu pracy (czytelne linki, sitemap, brak zbędnych blokad) wprost wspiera indeksację.
Jak to sprawdzić
Skorzystaj ze „Sprawdzenia adresu URL” w Search Console, by zobaczyć, jak Googlebot widzi stronę. Logi serwera pokazują, które roboty i jak często ją odwiedzają.
Częste błędy
- Treść dostępna tylko po wykonaniu JavaScript, której robot nie złapie
- Pułapki crawlera (nieskończone kombinacje parametrów)
- Blokowanie zasobów potrzebnych do renderowania
Przykład
Googlebot → pobiera HTML → czyta linki → kolejne adresy do odwiedzenia