Antes de empezar, vamos a explicar que es el Crawl Budget. El Crawl Budget vendría a ser el tiempo que dedican los robots de Google a rastrear mi web, lo cual va directamente relacionado con la autoridad que tendrá nuestra web versus nuestra competencia, aunque también hay otros factores a tener en cuenta como la accesibilidad, calidad, velocidad del site, etc.
Para saber cuál es nuestro Crawl Budget, deberemos ir a Search Console de Google a Rastreo y a Estadísticas de Rastreo. Ahí nos encontraremos información sobre páginas rastreadas, kilobytes rastreados y tiempo de descarga de una página. La información que realmente nos interesaría es el tiempo que ha dedicado Google a rastrear nuestra web por un día, pero esa información actualmente Search Console no nos la da.
Una de las primeras preguntas que nos haremos es ¿Por qué es importante el Crawl Budget para el SEO? La respuesta que yo os daría es que el tiempo que dedica Google a rastrear nuestra web suele ser insuficiente y nunca rastrea todas las páginas que puede llegar a tener nuestro site, pero a su vez, podemos confirmar que las páginas que sí son rastreadas, posicionan mucho mejor en las SERPS y a su vez reciben mucho más tráfico que las que no son rastreadas. Es por esto mismo que deberemos eliminar todas aquellas URLs que no sirven para nada y que no van a posicionar nunca.
Lógicamente para priorizar el borrado de contenido lo haremos con todo aquel que sea duplicado, eliminar contenidos con posible canibalización, no tiene sentido que tengamos contenido que estén compitiendo por las mismas Keywords porque por norma general solo te va a posicionar uno de ellos y además estarás perdiendo presupuesto de rastreo. Si a través del archivo Robots eliminamos ciertas URLs que no nos interesa que sean rastreadas por Google, indirectamente estaremos beneficiando a otras que si queremos que sean indexadas.
Otra de las alternativas que tenemos es “provocar” que las arañas visiten con más frecuencia nuestra web, para esto hay diversos “trucos” que pueden facilitar ese proceso como por ejemplo, crear nuevas páginas e ir modificando las actuales con contenido original para que Google vea que la web tiene contenido actualizado, trabajar el link building para esa páginas, actualizar los sitemaps puede ser otras alternativas positivas.
Lógicamente tendremos que evitar tener errores 404 en nuestra web. Siempre se ha dicho que los errores 404 perjudican al SEO de nuestra web, pero no viene a ser así directamente pero si indirectamente. Me explico, supongamos nuestra web tiene 1.000 páginas de las cuales hay 200 que nos están dando un error 404, y las arañas rastrean 300 páginas, es posible que esté rastreando algunas con esos errores y estará dejando de rastrear páginas sin error, por lo tanto, sí nos está perjudicando al SEO indirectamente.
En mi opinión, otra de las acciones que deberemos llevar acabo viene relacionada con el WPO (Web Performance Optimizacion) o lo que vendría a ser lo mismo la velocidad de carga de nuestra web. Si Google dedica cierto tiempo a rastrear mi web, y mi web tiene una velocidad de carga buena, rastreará más páginas durante ese tiempo, esto tiene mucha lógica.
Hay opiniones que dicen que en caso de tener un enlace saliente, es mejor que sea No Follow para que la araña no se “olvide” de nuestra web y siga el enlace encontrado. Mi opinión es que el robot, antes de seguir cualquier enlace que se encuentre, va a seguir agotando todo el Crawl Budget en tu web y una vez finalizado accederá a las nuevas urls externas encontradas, así pues no va a ser necesario que pongamos rel=”nofollow” a los enlaces.
¿Cuál sería el resumen/conclusión de todo esto?
Deberás facilitar la vida a Google en términos de optimización y calidad de tu web. Os dejo un breves y resumidos consejos:
- Genera contenido de calidad, evitando crear páginas innecesarias.
- Evita tener errores 404. Si Google rastrea esos errores 404, estará perdiendo tiempo y no rastreará las páginas que realmente tiene que rastrear.
- Evita el uso de parámetros para navegación que generan gran cantidad de URLs.
- No generar contenido duplicado.
- Evita la canibalización entre dos páginas que compitan por la misma keyword.
- Trabaja bien la velocidad de carga de la la web.
- Optimiza la estructura de tu sitio web, manden un orden y jerarquías según contenido.
Autor Invitado:
Xavier Castellnou, Digital Marketing Manager en @GMEDIA_es y Profesor de SEO en @IIMN
