Google ha actualizado recientemente sus directrices en torno al archivo robots.txt, especificando que solo cuatro campos específicos son oficialmente compatibles. Esta aclaración refuerza su posición sobre los campos no soportados, que serán simplemente ignorados por sus rastreadores.
Principales Cambios en Robots.txt
En la actualización de su documentación de Search Central, Google aclara que sus rastreadores solo reconocerán cuatro campos en los archivos robots.txt. Cualquier directiva adicional o campo no especificado en la documentación oficial no será considerado durante el rastreo.
Esta medida pretende ofrecer una guía clara a propietarios y desarrolladores de sitios web para evitar confusiones y garantizar una configuración efectiva.
"A veces recibimos preguntas sobre campos que no están explícitamente listados como compatibles, y queremos dejar en claro que estos no lo son," ha señalado Google en su actualización.
¿Qué Significa Esta Actualización?
Usar Solo Campos Soportados: Limita el archivo robots.txt a los campos documentados para asegurarte de que los rastreadores de Google los interpretan correctamente.
Revisar Archivos Existentes: Realiza una auditoría de tus archivos robots.txt actuales para identificar y eliminar cualquier campo no soportado.
Conocer las Limitaciones: Algunos rastreadores pueden no reconocer directivas de terceros o personalizadas, lo cual podría afectar el rastreo de tu sitio en Google.
Campos Soportados en Robots.txt por Google
De acuerdo con la nueva documentación, los campos que Google reconoce oficialmente en robots.txt son:
user-agent: Define a qué rastreador se aplican las reglas especificadas.
allow: Permite a los rastreadores acceder a ciertas páginas o directorios.
disallow: Prohíbe el acceso a ciertas páginas o secciones del sitio.
sitemap: Especifica la ubicación de los archivos de mapa del sitio, lo cual facilita el descubrimiento de contenido.
Campos No Soportados y Cambios Futuros
Si bien Google no especifica cada campo no soportado, la actualización sugiere que directivas comunes como crawl-delay no son reconocidas por sus rastreadores, aunque algunos motores de búsqueda alternativos sí las puedan interpretar.
Además, Google comenzará a eliminar progresivamente el soporte para la directiva noarchive.
Recomendaciones para Optimizar el Archivo Robots.txt
Este cambio enfatiza la importancia de seguir las guías oficiales y evitar suposiciones sobre la compatibilidad de directivas. Asegúrate de:
Consultar la documentación de Search Central de Google para mantenerte al tanto de las mejores prácticas.
Optimizar el Presupuesto de Rastreo: Una configuración adecuada del archivo robots.txt contribuye a una mejor gestión del presupuesto de rastreo, permitiendo que Google priorice el contenido importante.
Este tipo de actualizaciones recuerdan la necesidad de revisar y adaptar periódicamente la estrategia de SEO técnico, manteniéndose alineados con las directrices oficiales de Google.
Gracias por la informacion! sin dudas puedo aplicar este conocimiento! Es muy bueno y util
Gracias por los consejos, ¡Muy bueno Kevin!
Muy útil, gracias!
¡Si necesitás ayuda no dudes en contactarnos! Gracias por tu tiempo.