Jak Googlebot znajduje strony
12 minSkąd robot zna adresy
- Z linków na innych stronach i w obrębie witryny
- Z map witryny w formacie XML
- Z adresów zgłoszonych w Search Console
Co ogranicza skanowanie
- Wolny serwer i błędy 5xx zmniejszają tempo skanowania
- Plik robots.txt może zablokować wybrane katalogi
- Pułapki z parametrami potrafią zjeść czas robota
Notatki do lekcji
Wyszukiwarka nie przegląda internetu na żywo, kiedy ktoś wpisuje zapytanie. Wcześniej program nazywany Googlebotem pobiera strony, a Google zapisuje ich zawartość w ogromnym indeksie. Pierwszym etapem jest więc skanowanie, czyli odkrywanie i pobieranie adresów. Robot zaczyna od adresów, które już zna, i podąża za linkami. Nowa podstrona, do której nie prowadzi żaden link, może długo pozostać niezauważona, nawet jeśli jest świetnie napisana.
Mapa witryny w formacie XML to lista adresów, które właściciel chce pokazać wyszukiwarce. Nie gwarantuje indeksowania, ale przyspiesza odkrycie nowych stron i pomaga Google zrozumieć, które adresy są ważne. Zgłasza się ją w Search Console i wpisuje do pliku robots.txt.
Tempo skanowania zależy od dwóch rzeczy: od tego, ile serwer wytrzyma bez spowolnienia, i od tego, jak bardzo Google chce pobierać daną witrynę. Dla małej strony firmowej to rzadko problem. Kłopoty zaczynają się przy sklepach i portalach, gdzie filtry, sortowanie i parametry w adresach tworzą setki tysięcy wariantów tej samej treści. Wtedy robot marnuje czas na kopie, a nowe produkty czekają na swoją kolej.