0
Problemy z indeksacją w Google to w ostatnim czasie jeden z najczęściej poruszanych na forach dyskusyjnych, grupach na Facebooku i podczas konsultacji SEO, tematów. Istnieje kilka najczęstszych powodów, dlaczego Google nie indeksuje podstron, a także rozwiązań, jakie można zastosować, aby taka sytuacja nie miała miejsca.
Przyczyny problemów z indeksacją
W oficjalnej dokumentacji Google znajduje się informacja o tym, że
„nie ma żadnej gwarancji na to, że dana strona lub podstrona, zostanie w ogóle zaindeksowana”
Robot wyszukiwarki może, ale nie musi dotrzeć do nowego artykułu, karty produktowej czy też innej podstrony, natomiast nawet jeśli to zrobi, o indeksacji decyduje szereg czynników, z których wiele osób nie zdaje sobie sprawy.
Głównymi przyczynami braku indeksacji w Google są:
- Crawl Budget i czas
- Instrukcja noindex
- Blokada w robots.txt
- Słabe linkowanie wewnętrzne
- Mała ilość linków zewnętrznych
- Niski autorytet domeny
- Brak popytu na indeksację
Crawl Budget i czas
Google przeznacza określony budżet robotów i algorytmów dla każdej ze stron. Dlatego nowe strony oraz strony, które nie stanowią dla Google ważnego zasobu, mają ustalony ten budżet na niskim poziomie. Również strony o niskiej dynamice, w obrębie których w ostatnim czasie nie były publikowane nowe podstrony o wysokiej jakości, mają ten budżet ograniczany. Skoro na jakiejś stronie nic się nie zmienia, algorytm Google nie czuje potrzeby, aby każdego dnia poświęcać zasoby na to, by sprawdzić, czy akurat dzisiaj pojawiło się coś nowego.
Pochodną kwestią jest czas. W przypadku dużych witryn np. sklepów internetowych z dużą ilością produktów, dodanie kolejnych 1000 podstron jednego dnia nie gwarantuje, że nazajutrz pojawią się one w indeksie. W pierwszej kolejności sprawdzane będą ważniejsze adresy, które już istnieją, a nim Googlebot dotrze do nowych, może minąć kilka dni lub nawet tygodni.
Instrukcja noindex
W przypadku nowych witryn oraz stron tworzonych przez osoby, które dopiero zaczynają swoją przygodę w tym temacie, bardzo często problem z indeksacją jest spowodowany ustawionym na stronie tagiem:
<meta name=”robots” content=”noindex”>
Tag ten bardzo często jest dodawany w standardzie np. do popularnego silnika stron, WordPress i zapobiega indeksowaniu się jeszcze nieukończonej strony. Aby sprawdzić, czy dana podstrona posiada tag noindex, wystarczy pobrać jej zawartość w panelu Google Search Console lub sprawdzić, czy instrukcja ta występuje w kodzie strony, poprzez naciśnięcie CTRL+I w przeglądarce.
Odblokowanie indeksacji w przypadku takiego problemu jest możliwe na kilka sposobów, jednak najprostszym z nich jest zainstalowanie wtyczki Yoast SEO i wybranie w jej konfiguracji, opcji „Pokaż X w wynikach wyszukiwania” (X oznacza osobno wpisy, strony, kategorie itp.).
Czasami tag noindex jest ustawiany w kodzie szablonu strony i wtyczka nie jest w stanie go nadpisać. Warto wtedy skorzystać z pomocy programisty, który rozwiąże ten problem w kilka minut.
Słabe linkowanie wewnętrzne
Część problemów z indeksacją dotyczy treści głęboko ukrytych na stronie. Np. nowe produkty podczas gdy w sklepie nie ma dedykowanej dla nich kategorii lub artykułów na blogu w sklepie z tysiącami podstron produktowych. Dotarcie do nowych podstron może w takich przypadkach wymagać więcej czasu.
Każda strona jest inna i posiada określony Crawl Budget (opisany wyżej) dlatego, aby zwiększyć szansę na zaindeksowanie konkretnej podstrony, warto podlinkować ją na stronie głównej i z innych treści, które już znajdują się w Google.
Dodatkowo warto zgłosić też mapę witryny w panelu Google Search Console, która stanowi źródło łatwego, taniego i szybkiego odnajdywania przez Google, nowych adresów na danej stronie.
Mała ilość linków zewnętrznych
Wiele witryn, które mają problemy z indeksacją, są nowe i posiadają niewielką ilość linków zewnętrznych. Linki zewnętrzne są rekomendacjami i pośrednio wpływają na autorytet domeny, co sprawia, że strona może być dla Google ważna bądź też nie.
Naturalnie zakupienie dużej ilości linków o niskiej jakości nie jest dobrym rozwiązaniem ani dla problemu z indeksacją, ani w ogóle (wybaczcie reprezentanci Black Hat SEO, Wasza działka to inny temat).
Niewielka ilość linków zewnętrznych nie stanowi permanentnej przeszkody dla indeksacji, ale może powodować, że Google przydzieli danej stronie niski Crawl Budget. Wówczas czas oczekiwania na indeksację może być wydłużony.
Niski autorytet domeny
Bardzo częstą odpowiedzią na problemy z indeksacją jest niski autorytet domeny. Zagadnienie to łączy problemy związane z małą ilością linków zewnętrznych, niskim poziomem Crawl Budget i najważniejszego w tym artykule czynnika, czyli braku popytu na indeksację. Ten ostatni z uwagi na swoją wagę, zostanie opisany osobno.
Załóżmy, że jest sklep internetowy, który posiada 1 000 000 podstron produktowych, z czego 90% z nich nie posiada opisów lub ma opisy identyczne jak konkurencja. Albo jest strona, na której opublikowano 500 artykułów, z których tylko 10% posiada popyt na wyszukania, a 3% generuje ruch z wyszukiwarki.
W obu scenariuszach, Google po zaindeksowaniu części witryny dokona słusznej oceny „ta strona w X% nie ma wartości dodatniej”. Spowoduje to, że ucierpi Crawl Budget i nakład na analizę nowych podstron przez algorytmy (indeksacja i ustalanie rankingu to dwa różne kroki oraz tematy).
Jeśli większość zaindeksowanych zasobów jest niskiej jakości to nawet jeśli najnowsze będą najlepsze na świecie, Google może do nich szybko nie dotrzeć, ponieważ patrząc na dane, jakimi dysponuje, zbytnio się ich nie spodziewa.
Brak popytu na indeksację
Zbudowanie indeksu Google wymaga bardzo dużej liczby serwerów. Te wymagają miejsca, opieki, eksploatacji itp. co przy tak dużych rozmiarach obecnego internetu sprawia, że jest to bardzo kosztowne. Dla uproszczenia można powiedzieć, że Google ma serwerownię, która kopiuje strony internetowe ze wszystkich innych serwerów w internecie. Jest tego dużo dlatego, aby ograniczyć zbędne koszty, algorytmy wykrywają spam, zduplikowane podstrony itp. oraz usuwają je z indeksu.
W ostatnich latach z indeksu usuwane są nawet dobre podstrony, które już się w nim znajdowały, a powód ku temu jest prosty: brak popytu na indeksację.
Powiedzmy, że na stronie firmowej znajdują się wpisy blogowe na temat tego co się dzieje w budynku. Urodziny Pani Halinki, zakup nowych monitorów, wyjazd integracyjny itp. Chociaż treści te mogą być przygotowane doskonale i cieszyć pracowników, łączna liczba wyszukiwań w Google dla tego rodzaju artykułów będzie raczej niska.
Dlaczego Google miałoby marnować pieniądze na indeksowanie i wykorzystywanie algorytmów dla podstron sprzecznych z ich modelem biznesowym, jakim jest dostarczanie użytkownikom informacji, których wyszukują?
Podobnie jest w przypadku informacji, które już znajdują się w indeksie. Pisząc kolejny artykuł o tym samym, artykuł, który nie jest wcale lepszy od wszystkiego, co można znaleźć już w sieci, trudno oczekiwać, że Google stanie w pierwszym rzędzie do jego indeksacji. Dlaczego miałby to zrobić? Zadowolenie użytkownika nie wymaga indeksacji kolejnej podstrony z butami marki X, z identycznymi zdjęciami i opisem, więc szkoda marnować na to zasoby.
BONUS: Indeksacja vs ranking
Błędem jest myślenie, że indeksacja sprawi, że strona będzie pojawiała się wysoko w organicznych wynikach wyszukiwania Google. Indeksacja nie jest równoznaczna z naliczeniem pozycji. Ogólny schemat działania Google podzielony jest na 3 części: odkrywanie, indeksowanie i ranking.
To, że Google zaindeksuje daną podstronę, nie oznacza, że zostały bądź w ogóle zostaną dla niej przeliczone rankingi, na to wpływ ma bardzo dużo innych czynników, a naliczanie rankingów często następuje na długo po indeksacji. Dlatego korzystanie z indekserów, ręcznie zgłaszanie podstron w Google Search Console lub wykorzystywanie IndexNow, nie w każdym przypadku będzie dobrym i skutecznym rozwiązaniem na dłuższą metę. Strony pojawiają się w indeksie i są też z niego usuwane, głównie z powodu braku popytu na indeksację (podstrony o niskiej jakości).
Dlatego jeśli w teorii nic nie stoi na przeszkodzie, aby Google zaindeksowało nowe podstrony, a nadal tego nie robi, należy nabrać perspektywy i zastanowić się, czy nowe podstrony oraz strona jako całość, są oceniane lepiej niż to, co już znajduje się w internecie.