SEOMaster
Wiedza / Diagramy / SEO i indeksowanie
robots.txt i sitemap.xml
robots.txt mówi, gdzie robot NIE wchodzi; sitemap.xml podpowiada, co warto odwiedzić.
Co pokazuje ten diagram?
Jak robot odkrywa adres, wybiera wersję kanoniczną, zapisuje treść i buduje wynik wyszukiwania.
robots.txt to plik w katalogu głównym domeny, który mówi robotom wyszukiwarek, których części witryny NIE powinny odwiedzać. To wskazówka dla zachowania crawlera, nie zabezpieczenie.
Użyj tych schematów przy diagnozie indeksowania, przekierowań, canonicali, hreflang i danych strukturalnych.
Jak czytać schemat
- Robot
- robots.txt — zasady dostępu
- sitemap.xml — lista adresów
- Strony — do indeksu
Pełne wyjaśnienie pojęcia
robots.txt — Plik z regułami dla robotów.
Jak użyć diagramu?
Otwórz sam plik SVG, aby powiększyć go bez utraty jakości, albo odwołaj się do tej strony, gdy potrzebujesz również opisu, legendy i powiązanych materiałów.