Șase moduri de a verifica indexarea unui site sau a unei pagini

Pentru ca un site să apară în rezultatele căutării, toate paginile sale care sunt deschise pentru indexare trebuie să devină parte a indexului motorului de căutare. Dacă sistemul nu reușește să adauge pagini de site la baza de date, acestea rămân practic invizibile pentru potențialii clienți.

Propun să luăm în considerare șase moduri de a verifica indexarea. Vom afla de ce motoarele de căutare nu indexează site-ul, vom găsi modalități de a rezolva probleme.

• Cum funcționează indexarea site-ului?
• Se verifică în Google Search Console
• Cum se verifică indexarea unei anumite pagini în Search Console?
• Analiza indexării site-urilor în căutarea Google
• Verificarea indexării online folosind servicii
• Instrumente SEO pentru verificarea site-urilor web
• Bookmarklets
• API-ul de indexare Google
• De ce nu indexează Google site-ul?
• Cum să accelerezi indexarea site-ului?
• Cum să vă gestionați bugetul de accesare cu crawlere?

Cum funcționează indexarea site-ului?

La prima vedere, ar putea părea că crawlingul și indexarea sunt două procese foarte asemănătoare. Ele sunt într-adevăr strâns legate, dar sunt etape diferite ale procesării site-ului de către motoarele de căutare.

Accesarea cu crawlere este procesul de găsire a paginilor pentru procesare și indexare ulterioară.

Indexarea este procesul de adăugare a unei pagini scanate la baza de date (index) a unui motor de căutare. Astfel, cu o interogare relevantă a utilizatorului, pagina va apărea în rezultatele căutării:

Important. Accesarea cu crawlere a unui site nu înseamnă indexarea acestuia. Și introducerea unui site în indexul motorului de căutare nu garantează primele poziții ale rezultatelor căutării, deoarece clasamentul este responsabil pentru ordinea în care paginile sunt afișate de o interogare cheie.

Cum să verificați un site pentru indexare

Indexat înseamnă vizibil. Este foarte important ca toate paginile care trebuie afișate potențialilor clienți, utilizatori sau cititori să fie indexate. În caz contrar, se poate dovedi așa: produsul sau serviciul este cel mai bun de pe piață, articolul dezvăluie pe deplin esența problemei, dar dacă paginile site-ului dvs. nu sunt în indexul motorului de căutare, nimeni nu va ști despre aceasta.

De aceea este important să poți verifica indexarea.

1. Verificarea în Google Search Console

Aceasta este una dintre modalitățile de bază de a verifica indexarea pentru proprietarul site-ului și webmaster.

Conectați-vă la contul dvs. la Search Console și accesați fila „Pagini” din secțiunea „Indexare”:

În acest raport veți găsi informații generale despre paginile indexate și neindexate afișate pe cronologia:

Accesând raportul complet, veți vedea date detaliate pe toate paginile verificate pentru indexare:

Pentru a vedea un raport privind paginile neindexate și erorile de indexare, reveniți la secțiunea Indexare pagini:

Făcând clic pe coloana din stânga „Motiv”, puteți vedea listele paginilor site-ului care nu sunt disponibile pentru indexare:

Cum se verifică indexarea unei anumite pagini în Search Console?

Inserați linkul către pagina care vă interesează în bara de căutare Search Console:

În urma verificării, veți vedea unul dintre următoarele mesaje:

• pagina a fost indexată cu succes;

• Pagina nu este în index.

Dacă ați făcut toate modificările necesare, dar pagina încă nu este în index, trimiteți singur o solicitare de rescanare:

1. Introdu adresa paginii în instrument de verificare a adreselor URL.
2. Faceți clic pe butonul Solicitați indexare.

Aceeași metodă poate fi folosită pentru a accelera indexarea noilor pagini ale site-ului - dar nu mai mult de 10 pe zi.

Când scanați mai multe pagini simultan, se recomandă utilizarea Sitemap-ului.

2. Analiza indexării site-urilor în căutarea Google

Operatorii de căutare (cum ar fi „site:”) vă ajută să vă rafinați rezultatele căutării.

Pentru a afla dacă site-ul dvs. este indexat de Google, introduceți „site:[url of your site]” în bara de căutare:

Pentru a verifica indexarea unei anumite pagini, utilizați operatorul în formatul „site:[url-ul paginii site-ului dumneavoastră]”:

Dacă site-ul sau pagina este indexată cu succes, va apărea în rezultatele căutării. Vor apărea informații despre numărul aproximativ de pagini de pe site-ul dvs. care au fost indexate de motorul de căutare:

În plus, instrumentele de căutare pot analiza numărul de pagini indexate de un motor de căutare într-o anumită perioadă de timp:

3. Verificarea indexării online folosind serviciile

Există un număr mare de servicii online gratuite pentru a controla indexarea unui site, cum ar fi linkody.com sau smallseotools.com. Dezavantajul lor sunt limitele: de la 5 la 50 de pagini.

Totuși, dacă site-ul tău este conectat la Google Search Console, cu ajutorul noului instrument de la Serpstat, poți verifica indexarea a până la 100 de pagini într-o singură solicitare. 

1. Accesați secțiunea „Instrumente” și selectați „Indexare pagini”:

2. Faceți clic pe butonul „Conectați Google Search Console” și conectați-vă cu contul dvs. Google:

3. După autorizare, în partea din stânga sus a paginii veți vedea o listă cu toate site-urile la care aveți acces folosind Google Search Console:

4. Introduceți până la 100 de adrese URL pentru a verifica indexarea site-ului și faceți clic pe butonul Verificați pagini. Rezultatele acestei operațiuni vor fi afișate în partea dreaptă a serviciului.

4. Instrumente SEO pentru a verifica site-urile web

Programele speciale concepute pentru a scana și analiza principalii parametri ai site-ului în scopul identificării erorilor pot verifica și indexarea.

Când scanați un site în Netpeak Spider, veți primi o listă de pagini și valori ale parametrilor care afectează indexarea site-ului: robots.txt, canonical, meta robots, X-Robots-Tag, prezența redirecționărilor etc.:

Încărcând lista rezultată în Netpeak Checker, puteți verifica dacă pagina sau site-ul se află în rezultatele căutării:

5. Bookmarklets

Bookmarklet-urile (programe javascript mici salvate ca marcaje de browser) sunt o modalitate automată de verificare.

Pentru a utiliza marcajul, deschideți fișierul Verificare index și trageți link-ul către bara de marcaje:

Apoi găsiți pagina sau site-ul care vă interesează și faceți clic pe marcaj. Va apărea o nouă filă Google cu termenul de căutare, folosind operatorul de calificare „site:” și rezultatele de indexare pentru interogare.

6. API-ul de indexare Google

Google Indexing API este un indexator gratuit de la Google care vă permite să:

aflați când Google a primit ultima dată informații la adresa URL solicitată;
trimiteți o solicitare de reindexare a paginii;
trimiteți o solicitare de eliminare a paginii din index.
Un avantaj important al API-ului de indexare Google este abilitatea de a indexa solicitări combinate într-un singur HTTP (până la 100 de bucăți). Nu puteți utiliza mai mult de 200 de solicitări pe zi, dar dacă paginile dvs. au marcat JobPosting sau BroadcastEvent implementat, puteți aplica pentru o creștere a cotei.

Citiți mai multe despre cotele de indexare și conectarea acestora. în Ajutor Google.

De ce nu indexează Google site-ul?

Site nou. În funcție de numărul de pagini, indexarea completă a unui site nou poate dura Googlebot de la o săptămână la 2-4 luni.
Închiderea forțată a paginilor de la indexare.

Eticheta noindex împiedică crawler-ul să indexeze pagini. Pentru a evita problemele cauzate de utilizarea incorectă a etichetei noindex, verificați următoarele directoare:

metaetichetă roboți
Plasat în cod HTML și acționează la nivel de pagină. Un exemplu de metaetichetă roboți care dezactivează accesarea cu crawlere este −

X Robot Tag
Este un antet HTTP plasat în fișierul de configurare a serverului. Exemplu de X-Robot-Tag care nu permite scanarea −
X-Robots-Tag: noindex, nofollow

Fișierul Robots.txt
Folosind robots.txt este imposibil să controlezi direct indexarea site-ului, dar configurarea incorectă a acestui fișier poate duce la închiderea completă a accesului cu crawlere de către roboții de căutare.
Linia din robots.txt care blochează complet accesarea cu crawlere a site-ului -
Agent utilizator: * Nu permite: /

Utilizarea incorectă a etichetei canonice. Eticheta canonică este folosită pentru a combate conținutul duplicat, care poate fi, de asemenea, unul dintre motivele indexării proaste a site-urilor. Indică robotului de căutare versiunea preferată a paginii. La accesare cu crawlere, adresa URL specificată în eticheta canonică va fi percepută de Googlebot ca versiune principală, printre paginile cu conținut similar.

În plus față de setările care limitează sau interzic direct accesarea cu crawlere a site-ului, trebuie remarcați următorii factori care afectează negativ viteza de indexare:

• Lipsește sitemap.xml sitemap. Ajută roboții de căutare să își înțeleagă structura și să acceseze cu crawlere paginile mai rapid.
  Absența sau insuficiența legăturilor interne. Legăturile corecte și uniforme pe site distribuie greutatea link-urilor paginilor, iar adăugarea de link-uri către pagini noi ale site-ului, precum și către pagini care sunt deja în index, ajută motoarele de căutare să le găsească mai rapid.
  
• Viteza site-ului. Googlebot nu este permanent pe site. Scanează doar periodic conținutul paginilor sale. Viteza lentă de încărcare a site-ului complică indexarea acestuia și munca algoritmilor roboților de căutare.
  
• Calitatea conținutului. Cele mai recente actualizări ale motorului de căutare Google implică îmbunătățirea calității conținutului și crearea de materiale autorizate - în primul rând pentru oameni, și nu pentru manipularea algoritmilor de căutare. Atunci când evaluează calitatea conținutului site-ului dvs., Google ia în considerare erorile de ortografie, acuratețea informațiilor, originalitatea și alți factori. Puteți afla mai multe despre crearea de conținut util în Ajutor Google.
  
• Lipsa optimizării mobile. Pentru site-urile noi create după 1 iulie 2019, Google folosește metoda de indexare Mobile-First, care dă preferință indexării versiunii mobile a site-ului. Această decizie a companiei se datorează faptului că deja în 2016 mai mult de jumătate din solicitările către Google au fost făcute de pe dispozitive mobile.
  
• Ignorarea erorilor din Google Search Console. Examinați raportul de eroare din Google Search Console. Vedeți care dintre erorile găsite afectează indexarea site-ului și remediați-le. De asemenea, verificați dacă site-ul dvs. a fost supus sancțiunilor manuale. Poate că numele său de domeniu a fost restricționat anterior din cauza unei încălcări a politicilor Google.

Cum să accelerezi indexarea site-ului?

Capacitatea Googlebot de a accesa cu crawlere un site este limitată de bugetul de accesare cu crawlere - limita pentru verificarea paginilor pe vizită. Puteți afla bugetul aproximativ de accesare cu crawlere al site-ului dvs. în Search Console (secțiunea „Indexare”) - vizualizați raportul privind numărul de pagini procesate lunar de motorul de căutare:

Bugetul de crawl variază în funcție de algoritmul stabilit de motorul de căutare: în funcție de dimensiunea site-ului, viteza și nevoile acestuia. Dacă se găsesc multe erori sau pagini nedorite, bugetul poate fi cheltuit mai repede.

Factori care afectează negativ bugetul de accesare cu crawlere:

• pagini duplicate;
• conținut neunic;
• link-uri rupte;
• prea multe redirecționări;
• viteză mică a site-ului.

Cum să vă gestionați bugetul de accesare cu crawlere?

Pe lângă gestionarea efectivă a bugetului de crawling folosind indexerul Google Index API, puteți reduce consumul acestuia prin optimizarea tehnică și îmbunătățirea calității conținutului.

fișier sitemap.xml.
Verificați conținutul sitemap-ului XML, asigurați-vă că toate paginile specificate în acesta sunt deschise pentru indexare și returnați codul de răspuns al serverului 200, setați adăugarea automată a paginilor noi (deschise pentru indexare) în fișierul sitemap.xml.

Data la care pagina a fost modificată.
Setați anteturile HTTP Last-Modified și If-Modified-Since pentru a direcționa Googlebot către pagini al căror conținut nu s-a schimbat de la ultima vizitare (nu necesită re-crawling).

Optimizarea vitezei de încărcare a site-ului web.
Timpul de răspuns al serverului nu trebuie să depășească 200 ms, iar viteza de încărcare a paginii nu trebuie să depășească 3-5 secunde. Verificați viteza site-ului cu PageSpeed Insights, optimizați paginile pe baza recomandărilor.

Redirecționări și pagini sparte.
Nu permiteți un număr mare de redirecționări și pagini sparte pe site. În caz contrar, în loc să viziteze conținut nou, Googlebot își va cheltui bugetul de accesare cu crawlere pe clicuri pe poziții nefuncționale.

Optimizarea linkurilor.
Adăugați linkuri către conținut nou pe pagina principală a site-ului, afișați o previzualizare a anunțului articolelor recente, afișați produse noi. Organizați legăturile între materiale vechi și noi, postați linkuri către pagini noi pe rețelele sociale - acest lucru va ajuta robotul de căutare să le găsească și să le acceseze cu crawlere mai repede.

Frecvența actualizării site-ului.
Motoarele de căutare preferă informații relevante și de înaltă calitate. Actualizați în mod regulat conținutul site-ului dvs., adăugați conținut nou cel puțin o dată pe săptămână, actualizați și completați informațiile de pe paginile vechi.

Tine minte

Șase moduri de a verifica independent indexarea unui site sau a unei pagini:

1. În Google Search Console.
2. Cu ajutorul operatorilor de căutare.
3. Servicii on-line.
4. Instrumente SEO precum Netpeak Spider sau Netpeak Checker.
5. Utilizarea bookmarklet-urilor.
6. API-ul de indexare Google.

Pentru a îmbunătăți indexarea site-urilor:

1. Personalizați și optimizați sitemap-ul sitemap.xml.
2. Verificați setările fișierului robots.txt și utilizarea etichetei noindex.
3. Urmăriți numărul de redirecționări și prezența paginilor sparte.
4. Lucrați la reconectarea site-ului.
5. Îmbunătățiți viteza de încărcare a paginii.
6. Creați conținut de calitate și lucrați la actualizarea și îmbunătățirea acestuia în mod regulat.
7. Optimizați-vă bugetul de accesare cu crawlere.
8. Nu uitați de versiunea mobilă a site-ului.
9. Examinați în mod regulat rapoartele de erori în Google Search Console.

O sursă: Netpeak.net