Co to jest plik robots txt i jak poprawnie go skonfigurować

Co to jest plik robots txt i dlaczego decyduje o tym, które podstrony trafią do indeksu wyszukiwarki? To zwykły dokument tekstowy o rozmiarze zazwyczaj 200–2000 bajtów, umieszczony w katalogu głównym domeny, który roboty indeksujące pobierają jako pierwszy element witryny — jeszcze przed stroną startową. Zawiera zestaw dyrektyw mówiących crawlerom takim jak Googlebot, Bingbot czy AhrefsBot, do których katalogów mają dostęp, a które powinny pominąć. Nie jest to mechanizm zabezpieczeń ani zapora — to protokół oparty na dobrowolnej współpracy, opisany w standardzie Robots Exclusion Protocol. Uczciwe roboty go respektują, skanery szukające luk zwykle ignorują. Prawidłowo napisany plik oszczędza budżet indeksowania, chroni zaplecze administracyjne przed pojawieniem się w wynikach i przyspiesza wykrywanie nowych treści dzięki wskazaniu adresu mapy witryny. Błąd w jednej linii potrafi natomiast wyciąć z Google cały sklep. W praktyce przygotowanie pliku zajmuje kilkanaście minut, a konsekwencje ciągną się miesiącami, dlatego opłaca się zrozumieć każdą dyrektywę przed wgraniem jej na produkcję.

Co to jest plik robots txt w praktyce codziennego crawlowania

Robot wchodzący na domenę wysyła zapytanie o adres kończący się na /robots.txt, zanim pobierze stronę startową. Serwer powinien odpowiedzieć kodem 200 i treścią w formacie tekstowym z kodowaniem UTF-8. Odpowiedź 404 oznacza dla crawlera zgodę na indeksowanie wszystkiego, a kod 503 wstrzymuje crawlowanie do czasu naprawy usterki.

Googlebot buforuje zawartość pliku zwykle przez około dobę, więc zmiana wprowadzona rano nie zadziała natychmiast. Przy dużych serwisach ma to realne znaczenie: jeśli przypadkiem zablokujesz katalog z kartami produktów, roboty przez kolejne godziny będą trzymać się starej wersji reguł, zanim w ogóle pobiorą poprawiony zestaw dyrektyw z serwera.

Plik działa wyłącznie w obrębie jednego protokołu, hosta i portu. Wersja dla adresu z www i bez www to formalnie dwa różne zasoby, podobnie jak wariant http oraz https. Subdomena typu blog.przyklad.pl potrzebuje własnego pliku, ponieważ nie dziedziczy żadnych reguł z domeny głównej ani z katalogu nadrzędnego.

Co to jest plik robots txt z perspektywy administratora serwera? To statyczny zasób serwowany jak każdy inny dokument tekstowy, więc obowiązują go te same reguły uprawnień, buforowania i przekierowań. Ustaw prawa dostępu 644, właściciela zgodnego z użytkownikiem serwera WWW oraz nagłówek Content-Type o wartości text/plain.

Składnia dyrektyw i kolejność ich stosowania

Konstrukcja pliku opiera się na blokach. Każdy blok zaczyna się od linii User-agent wskazującej robota, a następnie zawiera reguły Disallow i Allow. Przy konflikcie wygrywa reguła najbardziej szczegółowa, czyli ta o najdłuższej ścieżce, a przy identycznej długości pierwszeństwo ma dyrektywa zezwalająca na dostęp.

Obsługiwane są dwa znaki specjalne: gwiazdka zastępująca dowolny ciąg oraz znak dolara oznaczający koniec adresu. Reguła Disallow ze ścieżką zakończoną wzorcem .pdf i dolarem zablokuje wyłącznie dokumenty PDF, nie ruszając adresów zawierających ten ciąg w środku parametru zapytania.

Hosting i serwer: gdzie fizycznie umieścić plik robots.txt

Dokument musi leżeć w katalogu głównym witryny, najczęściej nazwanym public_html, www lub htdocs. Umieszczenie go w podkatalogu motywu albo w folderze uploads nie daje żadnego efektu, ponieważ roboty odpytują wyłącznie ścieżkę bezpośrednio pod domeną, bez przeszukiwania struktury katalogów serwera.

Osoby zastanawiające się, jak wybrać hosting pod WordPress, powinny sprawdzić przede wszystkim dostęp do menedżera plików i SFTP, bo bez nich edycja pliku wymaga wtyczek. Pakiety współdzielone kosztują zwykle od 60 do 250 zł rocznie i w zupełności wystarczają blogowi generującemu kilkanaście tysięcy odsłon miesięcznie.

Kolejna typowa wątpliwość dotyczy tego, czym różni się VPS od hostingu współdzielonego. W wariancie współdzielonym setki kont korzystają z jednej maszyny i wspólnej puli zasobów, a konfiguracja serwera jest zamknięta. VPS za 30–150 zł miesięcznie daje gwarantowane rdzenie, własny adres IP i pełną kontrolę nad plikami konfiguracyjnymi Apache lub Nginx.

Migracja witryny bez utraty widoczności

Planując, jak przenieść stronę na inny hosting, skopiuj plik z regułami razem z resztą zasobów i zweryfikuj go tuż po przełączeniu. Częsty błąd to pozostawienie wersji ze środowiska testowego, blokującej całą witrynę jedną linią z ukośnikiem — taka pomyłka potrafi wyczyścić indeks w ciągu kilkunastu dni.

Domena i DNS a rzeczywista dostępność pliku robots.txt

Zanim robot pobierze cokolwiek, musi rozwiązać nazwę domeny na adres IP. Jeśli delegacja jest błędna, plik z regułami po prostu nie istnieje z punktu widzenia crawlera. Dlatego diagnostykę problemów z indeksowaniem zaczyna się od warstwy nazw, a nie od samej treści dyrektyw.

Gdy nie wiadomo, kto zarządza adresem, warto sprawdzić, jak sprawdzić kto jest właścicielem domeny — służą do tego bazy WHOIS oraz nowszy protokół RDAP, a dla końcówki .pl wyszukiwarka rejestru NASK. Dane osób prywatnych bywają ukryte, ale rejestrator, data rejestracji i termin wygaśnięcia pozostają jawne.

Osobna kwestia to, jak przedłużyć domenę po wygaśnięciu. Po terminie nazwa wchodzi w okres karencji trwający zwykle 30 dni, gdy odnowienie kosztuje standardowe 80–130 zł. Później zaczyna się faza wykupu, w której opłata restytucyjna sięga 400–600 zł, a strona i jej plik z regułami są całkowicie niedostępne.

Warstwę adresową porządkuje wiedza o tym, jak skonfigurować rekordy DNS domeny: rekord A kieruje nazwę na adres IPv4, rekord AAAA na IPv6, a MX obsługuje pocztę. Pojawia się też pytanie, co to jest rekord CNAME — to alias wskazujący jedną nazwę na drugą, stosowany przy subdomenach i sieciach CDN.

Certyfikat SSL i przekierowania, czyli droga robota do pliku

Ponieważ reguły obowiązują osobno dla http i https, każda witryna działająca szyfrowanie potrzebuje sprawnego certyfikatu. Kwestię, jak zainstalować certyfikat SSL na serwerze, większość paneli rozwiązuje jednym kliknięciem, a darmowy certyfikat SSL Let’s Encrypt odnawia się automatycznie co 90 dni bez ingerencji administratora.

Równie istotne jest to, jak ustawić przekierowanie 301 w htaccess, aby wszystkie warianty adresu prowadziły do jednej wersji kanonicznej. Reguła RewriteRule z flagą R=301 przenosi ruch z http na https oraz z wariantu bez www na docelowy, dzięki czemu roboty zawsze trafiają na ten sam zestaw dyrektyw.

Sam plik z regułami może być przekierowany, lecz łańcuch powinien mieć maksymalnie jeden krok. Kilka kolejnych przeskoków albo pętla kończą się porzuceniem zapytania i traktowaniem witryny tak, jakby żadnych ograniczeń nie było. Sprawdź nagłówki poleceniem curl z parametrem śledzenia przekierowań i policz odpowiedzi pośrednie.

Testowanie, monitoring i najczęstsze błędy konfiguracji

Podstawowym narzędziem weryfikacji pozostaje raport indeksowania w Google Search Console, pokazujący pobraną wersję pliku, datę odczytu i wykryte ostrzeżenia. Uzupełnieniem są crawlery desktopowe pokroju Screaming Frog, które symulują zachowanie robota i wskazują adresy zablokowane przez konkretną linię reguł.

Najkosztowniejsze pomyłki to blokada katalogów ze stylami i skryptami, użycie dyrektywy zamiast znacznika noindex do usuwania stron z wyników oraz wpisywanie ścieżek względnych w linii z mapą witryny, która wymaga pełnego adresu. Zdarza się też blokowanie katalogu z obrazami, co odcina serwis od wyników grafiki.

Gdy plik wydaje się niedostępny tylko z jednego komputera, przyczyna bywa lokalna. Zanim zaczniesz zmieniać konfigurację serwera, ustal, jak sprawdzić prędkość internetu rzetelnie — pomiar wykonaj kablem, przy wyłączonym VPN i zamkniętych transferach w tle. Osobnym tematem jest to, jak wzmocnić sygnał wifi w domu, bo słaby zasięg generuje losowe błędy pobierania.

Jak sprawdzić, czy plik robots.txt faktycznie działa poprawnie?

Zacznij od otwarcia adresu domeny z dopiskiem ukośnik robots.txt w oknie przeglądarki w trybie prywatnym — powinna wyświetlić się czysta treść tekstowa, bez szablonu graficznego strony. Następnie w Google Search Console uruchom test adresu URL dla kilku reprezentatywnych podstron: kategorii, karty produktu, wpisu blogowego i pliku CSS. Narzędzie pokaże, czy pobranie zostało zablokowane i przez którą regułę. Warto też wykonać zapytanie poleceniem curl z podglądem nagłówków, aby potwierdzić kod odpowiedzi 200 oraz typ zawartości text/plain. Jeżeli serwer zwraca kod 301, sprawdź długość łańcucha przekierowań. Kontrolę powtarzaj po każdej migracji, aktualizacji systemu zarządzania treścią i zmianie ustawień serwera, ponieważ automatyczne generatory potrafią nadpisać reguły bez ostrzeżenia.

Czy plik robots.txt ukrywa stronę przed wyszukiwarką Google?

Nie, i jest to jedno z najgroźniejszych nieporozumień w technicznej optymalizacji. Dyrektywa zakazująca pobierania powstrzymuje robota przed odczytaniem treści, ale nie usuwa adresu z indeksu. Jeżeli do zablokowanej podstrony prowadzą odnośniki z innych witryn, wyszukiwarka może pokazać jej adres w wynikach z komunikatem o braku dostępnego opisu. Do trwałego wykluczenia służy znacznik meta o wartości noindex w sekcji nagłówkowej dokumentu albo nagłówek HTTP X-Robots-Tag. Kluczowy warunek: robot musi mieć możliwość pobrania strony, żeby ten znacznik zobaczyć, więc jednoczesne blokowanie ścieżki i stosowanie noindex wzajemnie się wykluczają. Dane naprawdę poufne zabezpiecza się logowaniem, uwierzytelnianiem na poziomie serwera lub ograniczeniem dostępu po adresie IP.

Co zrobić, gdy reguły blokują pliki CSS oraz JavaScript?

Usuń takie ograniczenia niemal natychmiast, ponieważ wyszukiwarka renderuje strony podobnie jak przeglądarka i bez arkuszy stylów oraz skryptów widzi zniekształcony układ. Efektem bywa błędna ocena wersji mobilnej, gorsze wyniki testów użyteczności i realny spadek pozycji. W systemach klasy WordPress problem powodują zbyt szerokie reguły blokujące katalog wp-content lub wp-includes w całości. Zamiast tego zablokuj wąsko wskazane ścieżki, a pliki statyczne wyłącz spod zakazu dyrektywą Allow z rozszerzeniami css oraz js. Po korekcie skorzystaj z narzędzia do inspekcji adresu URL i obejrzyj zrzut renderowanej strony. Jeśli wygląda tak jak w przeglądarce, konfiguracja jest prawidłowa. Odpowiedź na pytanie, co to jest plik robots txt, sprowadza się więc do świadomego zarządzania dostępem, a nie do blokowania wszystkiego, co wygląda technicznie.