Errores de robots.txt que Dañan el SEO (y Cómo Probar tu Archivo)

Una sola línea de robots.txt puede eliminar un sitio entero de los resultados de búsqueda. Como el archivo es pequeño y fácil de olvidar, los errores pueden durar meses.

1. Dejar Disallow: / tras el lanzamiento

Los sitios de desarrollo y de pruebas suelen bloquear a todos los rastreadores. Si ese archivo se despliega en producción, no se rastrea nada. Revisa el archivo en vivo tras cada publicación, sobre todo en un sitio nuevo o una migración.

2. Bloquear CSS, JavaScript o imágenes

Los buscadores renderizan las páginas como un navegador. Si los archivos necesarios para mostrar la página están bloqueados, pueden juzgar mal el diseño, la usabilidad móvil y el contenido. Permite los recursos que necesitan tus páginas.

3. Usar robots.txt para quitar una página de la búsqueda

Una URL bloqueada puede seguir indexada, porque el rastreador no puede ver una etiqueta noindex en una página que no tiene permitido obtener. Para eliminar una página, permite el rastreo y usa noindex, o devuelve un 404 o 410.

4. Barras finales incorrectas o ausentes

Disallow: /blog bloquea cualquier ruta que empiece por /blog, incluida /blog-news/. Disallow: /blog/ lo limita a la carpeta. Comprueba cuál quieres.

5. Erratas y directivas no admitidas

Una directiva mal escrita se ignora sin aviso. Google ignora Crawl-delay y la línea Noindex, obsoleta desde hace tiempo, en robots.txt. Limítate a las reglas admitidas.

6. Olvidar la línea de sitemap

Añadir Sitemap: con la URL absoluta ayuda a los rastreadores a encontrar todas las páginas.

7. Colocar el archivo en el lugar equivocado

Debe estar en la raíz: /robots.txt. Un archivo en una subcarpeta no se lee. Los subdominios necesitan el suyo.

Cómo probar

1. Abre https://tusitio.com/robots.txt en un navegador y léelo.
2. Usa el informe de robots.txt de Google Search Console para ver cómo se obtuvo y se analizó.
3. Prueba URL concretas contra las reglas antes de desplegar cambios.
4. Vigila los informes de cobertura en busca de avisos "Bloqueada por robots.txt" en páginas que quieres indexadas.

Preguntas frecuentes

¿Todo sitio debe tener un robots.txt? Es opcional, pero un archivo simple con una línea de sitemap es una buena práctica.

¿Puedo bloquear aquí a los rastreadores de IA? Puedes añadir reglas por user agent, y los rastreadores de buena reputación suelen respetarlas.