Los robots.txt y las URLs con parámetros
¿Qué son los robots.txt y para qué sirven?
Los robots.txt son una herramienta útil y relativamente poderosa para instruir a los rastreadores de motores de búsqueda sobre cómo quieres que rastreen tu sitio web.
Con todo, este mecanismo no es infalible ya que, aunque ayuda a evitar que las solicitudes de los rastreadores sobrecarguen tu sitio o servidor, esto no implica que impida a Google indexar las URLs bloqueadas de tu sitio web (para esto utilizaremos una etiqueta “noindex”).
Además, los robots.txt pueden utilizarse para otros cometidos, como bloquear archivos multimedia para que no aparezcan en los resultados de búsqueda de Google, o bloquear archivos sin importancia como scripts externos.
Tabla de contenidos
¿Se pueden utilizar robots.txt para bloquear parámetros?
Pese a lo simple que es un archivo de este tipo, su poder es grande por lo que los robots.txt deben ser utilizados adecuadamente y con precaución ya que un error en estos archivos puede tener consecuencias importantes para tu sitio web.
Esto es especialmente importante cuando creamos URLs dinámicamente o cualquier otro método que permita generar un número casi infinito de páginas que pueden ser identificadas por Google como «contenido duplicado». Por tanto, esto podría suponer un gran problema desde la perspectiva del SEO, ya que los motores de búsqueda tratan de ofrecer contenido único a los usuarios.
Lo que dice Google
Utilizar robots.txt para bloquear la indexación de una URL con parámetros es una práctica desaconsejada por el propio Google.
John Mueller, de Google, lo explica advirtiendo que Google no puede canonizar las URL y se perdería todo el valor de los enlaces a esas páginas en caso de utilizar estos archivos y recomienda soluciones alternativas como el uso de etiquetas canónicas.
Y es cierto que para determinados escenarios esta será la mejor solución. Veamos a continuación un caso real en el que se aplica esta solución a una URL que inyecta parámetros de seguimiento al acceder a ella a través de una barra de acceso rápido.
Para este caso, de haber optado por utilizar robots.txt para bloquear los parámetros de seguimiento, Google no habría podido acceder a ninguna de las páginas enlazadas desde este elemento navegación, perdiendo así toda la conexión entre las páginas y limitando el proceso de rastreo de Google con el consecuente impacto para el SEO.
Por tanto, en esta situación el consejo de Mueller sí es aplicado correctamente ya que, al no estar bloqueado este parámetro por robots.txt, Google puede acceder a las URLs para a continuación ver que sus etiquetas canónicas apuntan a la versión que se desea enseñar a los usuarios y evitando problemas de duplicidad.
Esta URL será tratada de este modo como la versión más importante de la página, mientras que sus variaciones serán consideradas subsidiarias y, por tanto, no deberían de perjudicar en los rankings por ser similares a la versión principal (es decir, la marcada como canónica).
Otros escenarios
Sin embargo, aunque vimos que en el ejemplo anterior utilizar etiquetas canónicas sí es recomendable, también existen ocasiones en las que los robots.txt se pueden utilizar para bloquear parámetros específicos.
Un caso claro sería el de un sitio de ecommerce. En este tipo de sitios web es muy frecuente encontrar funcionalidad de filtros para acotar productos o servicios en función de precios, marcas, valoraciones, tamaños…
Esto, a nivel técnico, supone la implementación de infinidad de parámetros que se añaden a la URL, de modo que Google podrá acceder a millones de URL que carecen de valor SEO y que únicamente consumirán presupuesto de rastreo.
Si bien es cierto que utilizar etiquetas canónicas, como ya hemos visto, ayudará a evitar que Google las vea como páginas duplicadas, también lo es que bloquear su rastreo ayudará a garantizar que el motor de búsqueda solo rastree las URLs principales del sitio web y no caiga en un enorme y trabajoso proceso de rastreo.
Conclusión
En conclusión, los robots.txt son muy útiles para indicar a Google qué quieres que sea rastreado y qué no en tu sitio web. Sin embargo, existen ciertas ocasiones en las que deberán de ser empleados y otras en las que conviene optar por soluciones alternativas; por lo que deben utilizarse con mucha precaución.
Para esto, lo mejor es que recurras a profesionales SEO que te ayuden a identificar e implementar la mejor solución para tu caso particular.
En RafaSEO te ofrecemos las soluciones digitales que necesitas para tu negocio aprovechando al máximo los beneficios del Kit Digital.
Impulsamos proyectos personalizados para cada cliente adaptándonos a las necesidades y metas de cada uno y elaborando estrategias comunicativas únicas. Tratamos a nuestros clientes con empatía y transparencia, manteniendo una comunicación abierta y constante de principio a fin del proyecto, asegurándonos de la satisfacción del cliente en todo momento.
Utilizamos las mejores herramientas a la hora de diseñar y crear tu página web, comercio electrónico, así como para gestionar tus perfiles profesionales en redes sociales y mejorar la presencia de tu sitio en los buscadores para llegar a tus clientes gracias a técnicas SEO y SEM.
Contáctame y planifiquemos tu estrategia digital!
Puedes contactarme por teléfono, WhatsApp, enviándome un correo electrónico, o esperar a que me ponga en contacto contigo rellenando este formulario.
* Los datos serán tratados por el responsable de la web con la finalidad de establecer contacto, enviar información y promociones y con la legitimación por parte del cliente. Ver política de privacidad.