SEOMaster
Jak roboty czytają strony
Lekcja w module „Jak działa wyszukiwarka” — Akademia SEOMaster.
Wyszukiwarka wysyła programy zwane robotami (crawlerami), które wędrują po linkach i pobierają strony. To crawling. Pobrane strony trafiają do ogromnej bazy — to indeksowanie.
Jeśli strona nie jest zindeksowana, nie pojawi się w wynikach — choćby była najlepsza. Robotom pomagają robots.txt (co wolno odwiedzać) i mapa strony (lista adresów).
Co może zablokować indeksację
• Tag noindex na stronie.
• Blokada w robots.txt.
• Strona dostępna dopiero po zalogowaniu.
Cztery bramki od odkrycia adresu do wyniku wyszukiwania
- Odkrycie URL — Robot znajduje link albo adres w mapie witryny
- Crawling — Wyszukiwarka pobiera stronę, jeśli ma dostęp
- Renderowanie i indeksacja — Treść zostaje odczytana, oceniona i zapisana
- Ranking — Zindeksowany dokument może konkurować o konkretne zapytania