Otwiera się w nowej karcie
Ścieżka: SEO techniczne

Indeksowanie, robots.txt i mapy witryny: jak strona trafia do Google

Jak Google odkrywa, skanuje i indeksuje strony, jak czytać raport indeksowania w Search Console i jak świadomie używać pliku robots.txt, tagu noindex, adresów kanonicznych i map witryny. Bez przypadkowego blokowania tego, co ma być widoczne.

  • Poziom: średni
  • 91 minut
  • 6 lekcji
  • Egzamin: 10 pytań
  • Certyfikat

Postęp: 0 z 6 lekcji. Postęp zapisuje się w tej przeglądarce.

Akademia Łukasza Wudyki

Czego się Państwo nauczą

  • Rozumieć różnicę między odkryciem, skanowaniem i indeksowaniem strony
  • Czytać raport indeksowania stron w Search Console i odróżniać problemy od stanów normalnych
  • Pisać i sprawdzać plik robots.txt bez ryzyka zablokowania strony
  • Używać noindex, X-Robots-Tag i adresów kanonicznych zgodnie z przeznaczeniem
  • Tworzyć mapy witryny i panować nad indeksowaniem dużych serwisów

Dla kogo jest to szkolenie

Dla właścicieli stron, specjalistów marketingu i twórców stron, którzy widzą w Search Console komunikaty o niezaindeksowanych adresach i chcą wiedzieć, co z nimi zrobić. Także dla osób przygotowujących nową stronę lub sklep do publikacji.

Przyda się dostęp do Search Console. Wcześniejsze ukończenie szkolenia o tym, jak działa Google, ułatwi naukę, ale nie jest wymagane.

Jak wygląda nauka

Szkolenie ma 6 lekcji w 3 modułach. Każda lekcja to krótka seria slajdów, notatki z przykładami i wskazówka z praktyki. Na końcu czeka egzamin z 10 pytań. Wynik od 80% daje certyfikat z numerem, który można sprawdzić na stronie weryfikacji i dodać do profilu na LinkedIn.

Moduł 1 z 3

Jak strona trafia do indeksu

1.1

Odkrycie, skanowanie, indeksowanie

12 min

Lekcja 1.1 · slajd 1 z 2

Trzy etapy

  • Odkrycie adresu z linków i map witryny
  • Skanowanie, czyli pobranie strony przez Googlebota
  • Indeksowanie, czyli analiza i zapis w bazie

Lekcja 1.1 · slajd 2 z 2

Indeksowanie nie jest gwarantowane

  • Google nie zapisuje każdej znalezionej strony
  • Liczy się jakość i unikalność treści
  • Duplikaty są łączone w jeden adres kanoniczny

Notatki do lekcji

Zanim strona pojawi się w wynikach, przechodzi trzy etapy. Najpierw Google musi odkryć adres, zwykle dzięki linkom z innych stron albo mapie witryny. Potem Googlebot pobiera stronę, czyli ją skanuje, a jeśli strona korzysta z JavaScriptu, renderuje ją podobnie jak przeglądarka. Na końcu Google analizuje treść, wybiera adres kanoniczny spośród podobnych stron i decyduje, czy zapisać stronę w indeksie.

Ostatni etap jest najczęściej źle rozumiany. Google nie indeksuje każdej strony, którą znajdzie. Strony bardzo podobne do innych, puste, z małą ilością unikalnej treści albo słabej jakości mogą zostać pominięte. To nie jest kara, tylko wybór: indeks jest ogromny, ale nie nieskończony, a Google woli zapisać mniej stron lepszej jakości niż wiele stron, które niczego nie wnoszą.

Dlatego odpowiedź na pytanie, dlaczego strona nie jest w Google, nie zawsze dotyczy techniki. Czasem strona jest technicznie dostępna, ale Google uznał, że nie wnosi nic nowego w porównaniu z innymi stronami w tej samej domenie lub w sieci. Wtedy pomaga rozbudowa treści, połączenie podobnych stron w jedną i mocniejsze linki wewnętrzne z ważnych podstron.

Następna lekcja
1.2

Raport indeksowania stron w Search Console

13 min

Lekcja 1.2 · slajd 1 z 2

Stany wymagające uwagi

  • Strona zeskanowana, ale jeszcze nie zindeksowana
  • Strona wykryta, ale jeszcze niepobrana
  • Duplikat bez wskazanej strony kanonicznej

Lekcja 1.2 · slajd 2 z 2

Stany zwykle w porządku

  • Strona z przekierowaniem
  • Strona wykluczona celowo tagiem noindex
  • Strona alternatywna z prawidłowym tagiem kanonicznym

Notatki do lekcji

Raport Indeksowanie stron w Search Console pokazuje, ile adresów jest zindeksowanych, a ile nie, wraz z powodami. Najważniejsze, żeby nie traktować każdego powodu jako błędu. Strona z przekierowaniem, adres z tagiem noindex ustawionym celowo czy strona alternatywna zawierająca prawidłowy tag strony kanonicznej to stany normalne i oczekiwane.

Uwagi wymagają przede wszystkim trzy sytuacje. Stan „Strona zeskanowana, ale jeszcze nie zindeksowana” oznacza, że Google pobrał stronę, ale na razie jej nie zapisał, co często wskazuje na problem z jakością lub unikalnością. Stan, w którym strona jest wykryta, ale obecnie niezindeksowana, oznacza, że Google zna adres, ale go jeszcze nie pobrał. Przy dużych serwisach bywa to sygnałem problemów z budżetem skanowania lub wydajnością serwera. Stan „Duplikat, użytkownik nie oznaczył strony kanonicznej” pokazuje strony uznane za kopie innych.

Szczegóły powodów opisuje nasz artykuł Raport Indeksowanie stron w Search Console. Do sprawdzenia pojedynczego adresu służy narzędzie Sprawdzanie adresu URL, które pokazuje, czy strona jest w indeksie, który adres Google uznał za kanoniczny i jak wygląda wyrenderowana strona.

Następna lekcja

Moduł 2 z 3

Narzędzia kontroli

2.1

Plik robots.txt

14 min

Lekcja 2.1 · slajd 1 z 2

Składnia

  • User-agent wskazuje robota
  • Disallow i Allow blokują lub odblokowują ścieżki
  • Sitemap podaje adres mapy witryny

Lekcja 2.1 · slajd 2 z 2

Pułapki

  • Blokada skanowania nie usuwa strony z indeksu
  • Zablokowane pliki CSS i JS psują renderowanie
  • Błąd serwera przy robots.txt wstrzymuje skanowanie

Notatki do lekcji

Plik robots.txt leży w katalogu głównym domeny i mówi robotom, których części strony nie powinny skanować. Składa się z grup reguł: linia User-agent wskazuje robota, a linie Disallow i Allow określają ścieżki zablokowane i dozwolone. Google obsługuje znak * jako dowolny ciąg znaków i znak $ jako koniec adresu. Linia Sitemap może wskazywać adres mapy witryny. Google odczytuje pierwsze 500 KiB pliku, a resztę pomija.

Najważniejsza pułapka: robots.txt blokuje skanowanie, a nie indeksowanie. Adres zablokowany w robots.txt może nadal pojawić się w wynikach, jeśli prowadzą do niego linki, tylko bez opisu, bo Google nie widzi treści. Dlatego do usuwania stron z wyników służy noindex, a nie robots.txt. Drugi częsty błąd to blokowanie plików CSS i JavaScript, bez których Google nie może poprawnie wyrenderować strony.

Ważne jest też to, jak serwer odpowiada na zapytanie o plik. Gdy robots.txt zwraca błąd 404, Google uznaje, że nie ma ograniczeń. Gdy zwraca błąd serwera z grupy 5xx, Google na pewien czas wstrzymuje skanowanie całej witryny. Według raportu Web Almanac 2025 na około 13 procent badanych stron adres robots.txt zwraca 404, co samo w sobie nie jest błędem.

Następna lekcja
2.2

noindex, X-Robots-Tag i adres kanoniczny

13 min

Lekcja 2.2 · slajd 1 z 2

Wykluczenie z wyników

  • Meta tag robots w kodzie strony
  • Nagłówek X-Robots-Tag dla plików PDF i grafik
  • Działa tylko, gdy Google może pobrać stronę

Lekcja 2.2 · slajd 2 z 2

Adres kanoniczny

  • Wskazuje preferowaną wersję podobnych stron
  • Jest wskazówką, a nie poleceniem
  • Spójny z przekierowaniami, linkami i mapą witryny

Notatki do lekcji

Do wykluczenia strony z wyników służy dyrektywa noindex. Umieszcza się ją w kodzie strony jako meta tag robots albo w nagłówku HTTP jako X-Robots-Tag. Nagłówek przydaje się dla plików, w których nie da się dodać meta tagu, na przykład PDF i grafik. Szczegóły opisuje artykuł Nagłówek X-Robots-Tag.

Dyrektywa noindex działa tylko wtedy, gdy Google może pobrać stronę i ją odczytać. Jeśli ta sama strona jest zablokowana w robots.txt, Google nie zobaczy noindex i adres może zostać w wynikach. Dlaczego ten zestaw nie działa, wyjaśnia artykuł Noindex i blokada w robots.txt jednocześnie.

Adres kanoniczny, czyli link rel="canonical", wskazuje preferowaną wersję spośród stron o podobnej treści, na przykład produktu dostępnego pod kilkoma adresami. To silna wskazówka, ale nie polecenie. Google bierze pod uwagę także przekierowania, linki wewnętrzne, mapę witryny i preferuje adresy HTTPS. Gdy sygnały są sprzeczne, Google może wybrać inny adres, o czym piszemy w artykule Google wybrał inną stronę kanoniczną.

Następna lekcja

Moduł 3 z 3

Mapy witryny i skala

3.1

Mapy witryny XML

12 min

Lekcja 3.1 · slajd 1 z 2

Co powinno być w mapie

  • Tylko adresy kanoniczne zwracające kod 200
  • Bez przekierowań, noindex i błędów 404
  • Data ostatniej zmiany tylko przy prawdziwej zmianie

Lekcja 3.1 · slajd 2 z 2

Limity i organizacja

  • Do 50 000 adresów lub 50 MB w jednym pliku
  • Indeks map dla dużych serwisów
  • Osobne mapy dla typów treści

Notatki do lekcji

Mapa witryny XML to lista adresów, które właściciel chce zindeksować. Pomaga Google szybciej odkrywać nowe i zmienione strony, zwłaszcza w dużych serwisach i na nowych domenach z małą liczbą linków. Nie zapewnia indeksowania, ale jest ważnym sygnałem, które adresy są dla firmy istotne.

W mapie powinny znaleźć się tylko adresy kanoniczne, które zwracają kod 200. Adresy z przekierowaniem, tagiem noindex albo błędem 404 osłabiają wiarygodność mapy. Data ostatniej zmiany, czyli pole lastmod, jest przydatna, ale tylko wtedy, gdy oznacza prawdziwą zmianę treści. Google pomija pola priorytetu i częstotliwości zmian. Jak wygenerować mapę i co w niej umieścić, opisuje artykuł Mapa witryny XML.

Jeden plik mapy może zawierać do 50 000 adresów i ważyć do 50 MB przed kompresją. Większe serwisy dzielą mapy na kilka plików i łączą je indeksem map. Osobne mapy dla wpisów, produktów i kategorii pozwalają w Search Console sprawdzić indeksowanie każdej grupy osobno. Szczegóły zawiera artykuł Indeks map witryn.

Następna lekcja
3.2

Budżet skanowania i duże serwisy

12 min

Lekcja 3.2 · slajd 1 z 2

Kiedy to ma znaczenie

  • Serwisy z setkami tysięcy adresów
  • Sklepy z filtrami i parametrami
  • Strony z wolnym serwerem

Lekcja 3.2 · slajd 2 z 2

Jak odzyskać budżet

  • Ograniczenie adresów z filtrów i sortowania
  • Usunięcie duplikatów i łańcuchów przekierowań
  • Szybsze odpowiedzi serwera

Notatki do lekcji

Budżet skanowania to liczba adresów, które Googlebot może i chce pobrać z witryny w danym czasie. Dla większości stron firmowych nie ma on znaczenia, bo Google bez problemu pobiera kilkaset czy kilka tysięcy stron. Google wskazuje, że temat dotyczy przede wszystkim bardzo dużych serwisów, na przykład z ponad milionem stron, albo serwisów z ponad 10 000 stron, których treść zmienia się codziennie.

W sklepach problem tworzą filtry i sortowanie. Każda kombinacja koloru, rozmiaru, ceny i kolejności to nowy adres, a tysiące takich adresów rozpraszają uwagę robota. Pomaga ograniczenie linków do mało wartościowych kombinacji, blokada parametrów sortowania w robots.txt i jasne zasady, które filtry mają mieć własne strony do indeksowania. Szerzej opisuje to artykuł Filtry w sklepie tworzą tysiące adresów.

Wydajność serwera też wpływa na skanowanie. Gdy serwer odpowiada wolno lub zwraca błędy, Googlebot zwalnia, żeby go nie przeciążyć. Statystyki indeksowania w ustawieniach Search Console pokazują liczbę żądań, średni czas odpowiedzi i kody odpowiedzi. Sprawdzenie tych obszarów obejmuje usługa kompleksowy audyt SEO, a wdrożenie poprawek usługa SEO techniczne.

Następna lekcja

Sprawdzenie wiedzy

Egzamin końcowy

Egzamin składa się z 10 pytań jednokrotnego wyboru. Pytania i odpowiedzi pojawiają się w losowej kolejności, a wynik liczy serwer, więc nie da się go podejrzeć w kodzie strony. Do zaliczenia potrzeba co najmniej 80% poprawnych odpowiedzi. Liczba podejść nie jest ograniczona, a po każdym podejściu widać wyjaśnienia do pytań.

10pytań
80%próg zaliczenia
15minut na spokojne rozwiązanie
podejść bez limitu

Po zdanym egzaminie

Certyfikat ukończenia szkolenia

Po zdanym egzaminie wystarczy podać imię i nazwisko oraz adres e-mail. Certyfikat powstaje od razu, ma własny numer i stronę weryfikacji pod adresem lukaszwudyka.pl/akademia/certyfikat/. Na certyfikacie jest nazwa szkolenia „Indeksowanie, robots.txt i mapy witryny”, wynik egzaminu, data wydania i podpis Łukasza Wudyki.

  • Link do certyfikatu przychodzi na podany adres e-mail.
  • Certyfikat można zapisać jako PDF albo wydrukować w formacie A4.
  • Jednym przyciskiem dodaje się go do sekcji „Licencje i certyfikaty” na LinkedIn.
  • Każdy może sprawdzić autentyczność po numerze na stronie weryfikacji.

Pytania

Najczęstsze pytania o to szkolenie

Jak długo trwa zindeksowanie nowej strony?

Od kilku godzin do kilku tygodni. Przyspieszają to linki wewnętrzne z często odwiedzanych stron, mapa witryny i prośba o zindeksowanie w Search Console. Google nie podaje stałego terminu.

Czy brak pliku robots.txt to problem?

Nie. Brak pliku oznacza, że roboty mogą skanować całą stronę. Plik jest potrzebny dopiero wtedy, gdy trzeba coś zablokować albo wskazać mapę witryny.

Czy usunąć z indeksu stare, słabe strony?

Najpierw warto sprawdzić, czy mają ruch i linki. Strony bez wartości można rozbudować, połączyć z innymi z przekierowaniem albo usunąć. Masowe ustawianie noindex bez planu może zabrać ruch, który te strony jeszcze dawały.

Czy mapa witryny jest potrzebna małej stronie?

Nie jest konieczna, jeśli wszystkie strony są dobrze połączone linkami, ale nie szkodzi i ułatwia kontrolę w Search Console. WordPress i wtyczki SEO tworzą ją automatycznie.

Co dalej

Następne kroki

Wymagane pola: 0 z 5

    1Dane kontaktowe
    2Czego dotyczy sprawa?
    3Opis sprawy
    Podpowiedzi do opisu:
    Bez zobowiązańDane tylko do odpowiedzi

    Wiadomość dotarła

    Dziękujemy. Odpowiemy najszybciej, jak to możliwe. W pilnej sprawie prosimy dzwonić: 533 543 333.

    Wymagane pola: 0 z 5

    Formularz: odpowiedź zwykle tego samego dnia. Komentarz w 60 minut tylko po telefonie: 533 525 168.

      1Dane kontaktowe
      2Czego dotyczy sprawa?
      3Opis sprawy
      Podpowiedzi do opisu:
      Bez zobowiązańDane tylko do odpowiedzi

      Wiadomość dotarła

      Dziękujemy. Odpowiemy najszybciej, jak to możliwe. W pilnej sprawie prosimy dzwonić: 533 525 168.

      Otrzymuj nasze komentarze

      Wystarczy podać adres e-mail redakcji, a każdy nowy komentarz wyślemy na skrzynkę w chwili publikacji. Bez sprawdzania strony.