Què és el crawl budget

Un terme que s'esmenta molt en l'actualitat en la comunitat de SEO és crawl budget. Si ho traduïm, es llegiria com "pressupost de rastreig". És un terme mig rar, però aquest és un concepte molt antic a l'àrea de SEO.

Els que treballen amb projectes de gran escala com els grans i-Commerces, portals de contingut, i els especialistes en SEO, entenen a l'crawl budget com el temps que Google gasta en la lectura de les pàgines del teu lloc web en un dia determinat.

Índex de continguts

És el temps que es pren el crawler de Google per poder llegir les pàgines d'un lloc web. Però aquest temps que dedica el rastrejador al teu lloc web depèn de diversos factors; com l'autoritat de la pàgina web, el percentatge de contingut duplicat, els errors de pàgines, i molts més.

No obstant això, segons el bloc oficial per a administradors web de Google, s'afirma que no tots s'han de preocupar per aquesta qüestió de l'crawl budget. És a dir, si tenen un lloc web amb unes poques desenes de pàgines, no caldrà preocupar-se per aquesta qüestió de l'rastreig de les pàgines, ja que Google ho farà sense problemes.

Però si tens una botiga en línia o qualsevol altre projecte web amb uns pocs milers de pàgines, hauràs de prestar molta atenció i optimitzar el crawl budget referent al teu lloc web.

Crawl budget i posicionament web

Des de Google afirmen que el crawl budget no influeix en el posicionament, però que no obstant això sí que pot influenciar, i de vegades controlar, negativament a altres dels més de 200 factors per rankear al cercador.

Però per què volem que Google rastregi més vegades les pàgines del nostre lloc web? De l'altra banda, trobem a diversos experts en SEO que asseguren que tenir un bon crawl budget va a millorar tot el posicionament en general de les pàgines del lloc web en el rànquing i així augmentar el trànsit orgànic.

Bàsicament, Google té un cert temps per passar dins del teu lloc, ja que ha de decidir quant de temps va a gastar en cada un dels llocs de tot el món, per al que haurà de calcular quantes connexions simultànies va a aconseguir fer per poder llegir les pàgines del teu lloc web.

La qualitat del lloc web

Google dedica un temps per a poder connectar al lloc web, llegir aquestes pàgines i aturar aquesta lectura. Repeteix això al llarg del dia, però sempre hi ha una fracció de temps. Aquesta fracció de temps, normalment és proporcional a l'autoritat que té la teva web, la quantitat de pàgines noves, i la rellevància que té enfront de Google.

Això és donat per la qualitat del teu contingut i els enllaços que apunten al el lloc, o sigui, si tens molts enllaços de qualitat apuntant, pot ser que Google et entengui amb més qualitat i passi més temps en el teu lloc web, sempre que hi hagi un major volum de pàgines.

En general, el crawl budget no canvia molt per a un lloc de 10, 50 o 100 pàgines, de manera que en poques pàgines no hi ha una gran diferència. Però per a llocs de grans dimensions, si Google té un segon per passar pel teu lloc i tu li indiques què és el que ha de llegir, això serà de gran utilitat per al rastrejador, finalitzant més ràpidament la seva tasca de rastreig.

Establir quines són les pàgines importants

Primer, has de traçar una arquitectura més organitzada de la informació de el lloc, establint quines són pàgines innecessàries, i no deixar que es indexin certes pàgines a través de l'control de l'arxiu robots.txt.

Google no hauria de gastar temps a la secció de recerca de el lloc web o, fins i tot, a la secció on hi ha navegació de filtres, per exemple, com passa en una botiga en línia, on es pot escollir la talla de calçat, la mida de l'apartament o el color de samarreta. Aquests filtres són els que normalment la gent diu "faced navigation" o "filtres de navegació".

Alguns administradors web tendeixen a bloquejar aquests filtres i aquestes recerques a l'arxiu robots.txt, justament perquè Google no gasti temps llegint aquestes pàgines, perquè, en veritat, són enfocades en l'usuari que està buscant aquella experiència, i són continguts que ja estan disponibles en altres pàgines internes de el lloc.

Et recomanem la lectura: Errors a evitar a l'crear un lloc web

Una altra línia és que a l'establir quines són les pàgines importants del teu lloc, estalvies el temps de lectura de Google a pàgines que tenen contingut duplicat, com és el cas de l'faced navigation, la pàgina de política de privacitat, termes i condicions i que no vols que siguin llegides. Aquestes pàgines només estaran disponibles per als usuaris que volen veure aquestes pàgines.

El temps no ha de ser gastat en aquestes pàgines de poc valor, ja que no vols rankear per a elles i no fan la menor diferència en la teva vida, però han de ser-hi perquè de totes maneres alguns usuaris volen consultar aquesta informació.

Funcionament de l'crawl budget internament

En general, el crawl budget està basat en l'arquitectura. Tu defineixes els enllaços a les pàgines que Google va a poder llegir i les prioritzes mitjançant el seu nivell d'importància.

Després de tot, els enllaços que surten d'aquestes pàgines són els que, probablement, seran prioritzats per Google. Llavors, val la lògica de pensar molt bé el linkeo intern i la manera en què s'estructura la teva pàgina.

El crawl budget és el temps que Google gasta per poder llegir, entendre la informació sobre el lloc web i avaluar elements com l'organització de l'arquitectura i el bloqueig en robots.txt. Utilitzar l'etiqueta nofollow en un enllaç impedeix que Google segueixi a través d'aquest enllaç. Per exemple, si un enllaç té un atribut nofollow, però, per arribar a la pàgina, un altre enllaç intern no la té, llavors Google va a prendre el segon camí, fent que gasti menys temps.

Beneficis d'un lloc optimitzat

Hi ha coses que et van a ajudar a tenir més pàgines llegides en el dia a dia, el que pot ser útil per a qualsevol lloc web. Per exemple, si el teu servidor és més ràpid, Google va a aconseguir, en aquest temps, sol·licitar més pàgines.

Si la teva pàgina està comprimida, Google va a aconseguir, en aquestes peticions, sol·licitar més pàgines. I si tens un codi net i adequat, Google també va rebre una pàgina més comprimida a la fi de el dia, amb millors bits. O sigui, l'optimització de la pàgina web, la velocitat de el lloc i de servidor, influeixen molt en el tema de l'crawl budget.

Com calcular el crawl budget del teu lloc

El nombre de vegades que l'aranya de el motor de cerca de Google rastreja el teu lloc web en una determinada assignació de temps és el que anomenem "pressupost de rastreig". Per tant, si Googlebot visita el teu lloc 32 vegades a el dia, podem dir que el pressupost de rastreig de Google és d'aproximadament 960 a el mes.

Pots utilitzar eines com la Google Search Console i les Eines per Webmasters de Bing per calcular el crawl budget aproximat del teu lloc web. Només has d'iniciar sessió i dirigir-te a Rastreig> Estadístiques de rastreig per veure el nombre mitjà de pàgines rastrejades a el dia.

Crawl budget i SEO: són el mateix?

Sí, i no. Mentre que els dos tipus d'optimització tenen com a objectiu fer que la teva pàgina sigui més visible i puguin impactar teus serps, el SEO posa un major èmfasi en l'experiència de l'usuari, mentre que l'optimització de les aranyes es tracta enterament d'atreure als bots.

L'optimització per als motors de cerca (SEO) se centra més en el procés d'optimització per a les consultes dels usuaris. En canvi, l'optimització de Googlebot se centra en la manera com el rastrejador de Google accedeix al teu lloc.

Com optimitzar el crawl budget

Hi ha diverses formes per optimitzar el crawl budget de qualsevol lloc web, depenent de cada projecte web, nombre de pàgines i altres qüestions, aquí hi ha alguns punts a tenir en compte:

Assegura't que els teus pàgines puguin rastrejar

La teva pàgina és rastrejable si les aranyes dels motors de cerca poden trobar i seguir enllaços dins del teu lloc web, de manera que hauràs de configurar els arxius .htaccess i robots.txt perquè no bloquegin les pàgines crítiques del teu lloc. També és possible que vulguis proporcionar versions de text de les pàgines que depenen en gran mesura d'arxius multimèdia enriquits, com Flash i Silverlight.

Per descomptat, el contrari és cert si desitges evitar que una pàgina aparegui en els resultats de cerca. No obstant això, no n'hi ha prou amb establir el fitxer robots.txt a "disallow" si desitges evitar que una pàgina sigui indexada. Segons Google, la regla "disallow" no garanteix que una pàgina no aparegui en els resultats.

Si la informació externa (per exemple, els enllaços entrants) continua dirigint el trànsit a la pàgina que has rebutjat, Google pot decidir que la pàgina segueix sent rellevant. En aquest cas, hauràs bloquejar manualment la indexació de la pàgina mitjançant la metaetiqueta noindex o la capçalera HTTP X-Robots-Tag.

- metaetiqueta noindex: col·loca aquesta metaetiquetes a la secció de la teva pàgina per tal d'evitar que la majoria dels rastrejadors web indexin la teva pàgina:

noindex "/>

- X-Robots-Tag: col·loca el següent en la resposta de la capçalera HTTP per indicar als rastrejadors que no indexin una pàgina:

X-Robots-Tag: noindex

Tingues en compte que si utilitzes la metaetiqueta noindex o l'etiqueta X-Robots-Tag, no has de desautoritzar la pàgina en robots.txt. La pàgina ha de ser rastrejada abans que l'etiqueta sigui vista i obeïda.

Ús cautelós d'arxius multimèdia enriquits

Hi va haver un temps en què Googlebot no podia rastrejar contingut com JavaScript, Flash i HTML. Aquests temps ja han passat (encara que Googlebot encara té problemes amb Silverlight i alguns altres arxius).

No obstant això, fins i tot si Google pot llegir la majoria dels arxius multimèdia enriquits, és possible que altres motors de cerca no puguin fer-ho, el que significa que has d'utilitzar aquests arxius de forma assenyada, i probablement vulguis evitar-se per complet en les pàgines que vulguis posicionar.

Evita les cadenes de redirecció

Cada URL que rediriges fas que malgasti una mica del teu crawl budget. Quan el teu lloc web té cadenes de redirecció llargues, és a dir, un gran nombre de redireccions 301 i 302 seguides, és possible que les aranyes com Googlebot caiguin abans d'arribar a la pàgina de destinació, la qual cosa significa que aquesta pàgina no s'indexarà. La millor pràctica amb redireccions és tenir el menor nombre possible de redireccions al lloc web, i no més de dues seguides.

Arregla enllaços trencats

Quan se li va preguntar a John Mueller sobre si els links trencats afecten o no el posicionament, va respondre que és una mica més enfocat a l'experiència de l'usuari que per a fins de posicionament.

Aquesta és una de les diferències fonamentals entre el SEO i l'optimització d'Googlebot, perquè significaria que els enllaços trencats no juguen un paper substancial en els rànquings, tot i que impedeixen en gran mesura la capacitat d'Googlebot per indexar i classificar un lloc web.

Dit això, has de seguir el consell de Mueller tenint en compte que l'algoritme de Google ha millorat substancialment al llarg dels anys, i qualsevol cosa que afecti l'experiència de l'usuari és probable que afecti les serps.

Estableix paràmetres en URL dinàmiques

Les aranyes tracten a les URL dinàmiques que condueixen a la mateixa pàgina com pàgines separades, el que significa que pots estar malbaratant innecessàriament el teu crawl budget. Pots administrar els paràmetres d'URL accedint a motor de Console i fent clic en Rastreig> Paràmetres d'URL. Des d'aquí, pots informar Googlebot si el teu CMS afegeix paràmetres als teus URL que no canvien el contingut d'una pàgina.

Neteja el sitemap

Els Sitemaps XML ajuden tant als visitants com als robots d'aranya, fent que el contingut estigui millor organitzat i sigui més fàcil de trobar. Per tant, intenta mantenir el mapa del web actualitzat i purgar-de qualsevol desordre que pugui perjudicar la usabilitat del teu lloc, incloent pàgines de 400 nivells, redireccions innecessàries, pàgines no canòniques i pàgines bloquejades.

La forma més fàcil de netejar el sitemap és utilitzar una eina com Website auditor. Pots utilitzar el generador de Sitemaps XML de Website auditor per crear un mapa de lloc net que exclogui totes les pàgines bloquejades de la indexació. A més, anant a l'opció "Site Audit" pots localitzar i reparar tots els errors 4xx, redireccions 301 i 302 i les pàgines no canòniques.

Fer ús dels feeds

Tant els feeds com els RSS, XML i Atom permeten lliurar contingut als seguidors quan no estiguin navegant en el lloc. Això permet als usuaris subscriure als seus llocs favorits i rebre actualitzacions periòdiques cada vegada que es publica nou contingut.

A més de que els canals RSS han estat durant molt temps una bona forma d'augmentar el nombre de lectors i la participació, també es troben entre els llocs més visitats per Googlebot. Quan el teu lloc web rebi una actualització (per exemple, nous productes, entrades a blocs, actualitzacions de pàgines, etc.), envia-la a l'FeedBurner de Google per assegurar-te que es indexi correctament.

Crea enllaços externs

La creació d'enllaços segueix sent un tema candent, i no s'entreveu que hagi de desaparèixer aviat

Cultivant relacions en línia, descobrint noves comunitats, construint valor de marca; aquestes petites victòries ja haurien d'estar impreses en el teu procés de planificació d'enllaços. Si bé hi ha elements distintius de l'linkbuilding que ara són tan de 1990, la necessitat humana de connectar amb altres mai canviarà.

En l'actualitat, ja tenim evidència que els enllaços externs es correlacionen estretament amb el nombre de visites d'aranyes que rep el teu lloc web.

Mantingues la integritat de l'linkeo intern

Tot i que la creació d'enllaços interns no juga un paper substancial en la velocitat de rastreig, això no vol dir que es pugui ignorar completament. Una estructura de lloc ben mantinguda fa que el teu contingut sigui fàcilment discoverable pels robots de cerca sense desaprofitar el teu crawl budget.

Una estructura d'enllaços interns ben organitzada també pot millorar l'experiència de l'usuari, especialment si els usuaris poden arribar a qualsevol àrea del teu lloc web en tres clics. Fer tot més fàcilment accessible en general vol dir que els visitants es quedaran més temps, el que pot millorar les serps.

Quina conclusió traiem?

Un cop més, reforçant el que ja s'ha esmentat amb anterioritat, aquesta qüestió de l'crawl budget serà important per a grans llocs web amb centenars i milers de pàgines web, en cas contrari, no val la pena preocupar-se per això, ja que Google rastrejarà el teu lloc web sense problemes.

No li hem de complicar el rastreig de les pàgines del nostre lloc a Google. Hi ha molts lloc web amb bastants errors, i fins amb barreres que creen els fitxers robots.txt i en sitemap.xml que impedeixen que Google accedeixi als continguts. Si volem millorar el posicionament en el rànquing de Google, llavors hem de autoritzar i simplificar les pàgines del lloc web perquè Google accedeixi ràpidament, indexi i posicioni. Molt simple.

A hores d'ara, probablement hagis notat una tendència en aquest article: les millors pràctiques per a la facilitat de rastreig també tendeixen a millorar la capacitat de cerca. Així que si t'estàs preguntant si l'optimització de l'crawl budget és important per al seu lloc web, la resposta és sí.

En poques paraules, si facilita a Google el descobriment i la indexació del seu lloc web, gaudirà de més rastrejos, el que significa actualitzacions més ràpides quan publiquis nou contingut. També milloraràs l'experiència general de l'usuari, el que millora la visibilitat i, en última instància, la classificació de les serps.

Aquests són només alguns dels punts, d'entre molts altres per millorar i optimitzar el crawl budget d'un lloc web.