El archivo robots.txt está en la raíz de un sitio, por ejemplo https://example.com/robots.txt. Indica a los rastreadores qué partes del sitio pueden solicitar. Los rastreadores que se portan bien, como los principales buscadores, lo siguen.
Estructura
El archivo es una lista de grupos. Cada grupo empieza con una línea User-agent que nombra a un rastreador, seguida de reglas:
User-agent: *
Disallow: /admin/
Allow: /admin/help/
Sitemap: https://example.com/sitemap.xml
- User-agent: el rastreador al que se aplica el grupo.
*significa todos. - Disallow: un prefijo de ruta que el rastreador no debe solicitar. Un valor vacío permite todo.
- Allow: una excepción dentro de una ruta no permitida.
- Sitemap: la URL completa de tu mapa del sitio. Es independiente de los grupos y puede aparecer en cualquier parte.
Comodines
Los principales rastreadores entienden dos caracteres especiales:
*coincide con cualquier secuencia de caracteres:Disallow: /*?sessionid=.$marca el final de una URL:Disallow: /*.pdf$.
Gana la regla más específica
Cuando coinciden Allow y Disallow, rastreadores como Googlebot siguen la regla coincidente más larga.
Ejemplos
Permitir todo:
User-agent: *
Disallow:
Bloquear todo, por ejemplo en un sitio de pruebas:
User-agent: *
Disallow: /
Bloquear un solo rastreador:
User-agent: BadBot
Disallow: /
Rastrear no es indexar
Es el malentendido más común. Una regla Disallow detiene el rastreo, pero una URL bloqueada puede seguir apareciendo en los resultados de búsqueda si otros sitios la enlazan, sin descripción. Para mantener una página fuera del índice, permite el rastreo y usa una etiqueta meta noindex o una cabecera, porque el rastreador tiene que ver la instrucción.
No es una herramienta de seguridad
Robots.txt es público y solo orientativo. No lo uses para ocultar contenido privado y no listes en él rutas secretas, ya que las anuncia. Protege las áreas privadas con autenticación.
Preguntas frecuentes
¿Dónde debe estar el archivo? En la raíz del host, y se aplica por host y protocolo.
¿Todos los bots lo obedecen? Los de buena reputación sí. Los maliciosos lo ignoran.