Jak roboty czytają strony

Lekcja w module „Jak działa wyszukiwarka” — Akademia SEOMaster.

Wyszukiwarka wysyła programy zwane robotami (crawlerami), które wędrują po linkach i pobierają strony. To crawling. Pobrane strony trafiają do ogromnej bazy — to indeksowanie.

Jeśli strona nie jest zindeksowana, nie pojawi się w wynikach — choćby była najlepsza. Robotom pomagają robots.txt (co wolno odwiedzać) i mapa strony (lista adresów).

Co może zablokować indeksację

• Tag noindex na stronie.

• Blokada w robots.txt.

• Strona dostępna dopiero po zalogowaniu.

← Jak działa wyszukiwarka