robots.txt

Plik z regułami dla robotów.

Co to jest robots.txt?

robots.txt to plik w katalogu głównym domeny, który mówi robotom wyszukiwarek, których części witryny NIE powinny odwiedzać. To wskazówka dla zachowania crawlera, nie zabezpieczenie.

Uwaga: zablokowanie w robots.txt powstrzymuje pobranie, ale nie gwarantuje wykluczenia z indeksu — do usunięcia z wyników służy meta noindex. Z robots.txt zwykle linkuje się też do sitemap.xml.

Dlaczego to ważne dla SEO

Dobrze ustawiony robots.txt oszczędza budżet indeksowania i chroni nieistotne sekcje. Jedna błędna reguła (Disallow: /) potrafi za to zablokować crawlowanie całej witryny i poważnie ograniczyć jej widoczność (choć samo robots.txt nie usuwa stron z indeksu — do tego służy noindex).

Jak to sprawdzić

Otwórz https://twojadomena.pl/robots.txt i sprawdź reguły. SEOMaster analizuje dyrektywy i ostrzega, gdy blokują istotne zasoby. W Search Console jest tester robots.txt.

Częste błędy

• Disallow: / pozostawione po wdrożeniu (blokada crawlowania całej witryny)
• Blokowanie plików CSS/JS potrzebnych do renderowania
• Mylenie robots.txt z noindex

Przykład

User-agent: *
Disallow: /panel/
Sitemap: https://twojadomena.pl/sitemap.xml

Najczęstsze pytania

Czy robots.txt ukrywa stronę przed Google?

Nie. Blokuje pobranie strony, ale adres nadal może trafić do wyników, jeśli prowadzą do niego linki. Do wykluczenia z indeksu służy noindex, a ten wymaga, żeby robot mógł stronę pobrać.

Gdzie musi leżeć plik?

Wyłącznie w katalogu głównym domeny, czyli pod adresem twojadomena.pl/robots.txt. Podkatalog nie działa, a subdomena potrzebuje własnego pliku.

Czy brak robots.txt to problem?

Nie. Brak pliku oznacza zgodę na pobieranie wszystkiego, co jest sensownym ustawieniem domyślnym dla większości serwisów.

Poradniki na ten temat

• Dlaczego strona nie jest w Google i jak to naprawić — Zanim zaczniesz cokolwiek poprawiać, ustal, na którym z trzech etapów strona wypada: pobranie, indeksacja czy ranking. Każdy ma inne objawy i zupełnie inną naprawę.
• robots.txt, noindex czy canonical — co wybrać i kiedy — Te trzy mechanizmy rozwiązują trzy różne problemy: robots.txt steruje pobieraniem, noindex obecnością w wynikach, a canonical wyborem głównej wersji treści. Pomylenie ich potrafi utrzymać niechciany adres w Google przez miesiące.
• Duplicate content: jak znaleźć duplikaty i wybrać canonical — Duplikat treści nie jest automatycznie karą. Problem zaczyna się wtedy, gdy kilka adresów konkuruje o ten sam cel, rozprasza linki i utrudnia Google wybór właściwej wersji. Naprawa zależy od tego, czy wariant ma zniknąć, pozostać dostępny czy być indeksowany osobno.
• Czy strona jest gotowa na wyszukiwarki i agentów AI — Gotowość dla AI nie polega na dodaniu jednego pliku. Najpierw treść musi być publiczna, dostępna w HTML, możliwa do pobrania i jednoznacznie opisana. llms.txt może pomóc agentom, ale nie zastępuje tych podstaw.

Źródła

• Google Search Central — robots.txt

Wszystkie hasła · Cała Wiedza · Jak skanujemy