SEOMaster
robots.txt
Plik z regułami dla robotów.
Co to jest robots.txt?
robots.txt to plik w katalogu głównym domeny, który mówi robotom wyszukiwarek, których części witryny NIE powinny odwiedzać. To wskazówka dla zachowania crawlera, nie zabezpieczenie.
Uwaga: zablokowanie w robots.txt powstrzymuje pobranie, ale nie gwarantuje wykluczenia z indeksu — do usunięcia z wyników służy meta noindex. Z robots.txt zwykle linkuje się też do sitemap.xml.
Dlaczego to ważne dla SEO
Dobrze ustawiony robots.txt oszczędza budżet indeksowania i chroni nieistotne sekcje. Jedna błędna reguła (Disallow: /) potrafi za to zablokować crawlowanie całej witryny i poważnie ograniczyć jej widoczność (choć samo robots.txt nie usuwa stron z indeksu — do tego służy noindex).
Jak to sprawdzić
Otwórz https://twojadomena.pl/robots.txt i sprawdź reguły. SEOMaster analizuje dyrektywy i ostrzega, gdy blokują istotne zasoby. W Search Console jest tester robots.txt.
Częste błędy
- Disallow: / pozostawione po wdrożeniu (blokada crawlowania całej witryny)
- Blokowanie plików CSS/JS potrzebnych do renderowania
- Mylenie robots.txt z noindex
Przykład
User-agent: * Disallow: /panel/ Sitemap: https://twojadomena.pl/sitemap.xml