Generador de robots.txt
Crea un archivo robots.txt para controlar cómo rastrean tu sitio los buscadores y los bots.
¿Qué es robots.txt?
El archivo robots.txt indica a los rastreadores qué partes de un sitio web pueden solicitar. Vive en la raíz del dominio, se compone de grupos que empiezan con una línea User-agent y contienen reglas Allow y Disallow, y puede apuntar a tus sitemaps XML. Se usa sobre todo para mantener a los rastreadores fuera de áreas de administración, resultados de búsqueda internos, carritos y contenido duplicado, de modo que el presupuesto de rastreo vaya a las páginas que importan.
Hay dos cosas que se malinterpretan a menudo. Bloquear una URL en robots.txt no la quita de los resultados de búsqueda si otros sitios la enlazan, para eso usa una etiqueta noindex, y el archivo es público y no es una medida de seguridad. El generador también ofrece un interruptor que añade reglas Disallow para rastreadores de IA conocidos; bloquearlos o no es una decisión de política, ya que puede reducir cómo usan tu contenido los productos de IA.
Cómo crear el archivo
- Parte de un ajuste rápido o escribe tus propias reglas para cada user-agent.
- Añade la URL de tu sitemap y, si hace falta, un retraso de rastreo.
- Descarga el archivo y súbelo a la raíz de tu sitio.
Casos de uso comunes
- Día de lanzamiento - bloquea un sitio de pruebas y permite el rastreo al publicar.
- Presupuesto de rastreo - mantén a los bots lejos de filtros, carritos y búsqueda interna.
- Política de IA - decide si los rastreadores de IA pueden leer tu contenido.