robots.txt para bots de IA

Qué controla robots.txt en los bots de IA

robots.txt permite declarar, agente por agente, qué partes de un sitio puede rastrear cada bot, y los principales proveedores de IA publican qué agentes usan, para qué sirve cada uno y cómo bloquearlo. La regla clave es que los controles son independientes: en OpenAI puedes permitir OAI-SearchBot para aparecer en resultados de búsqueda mientras bloqueas GPTBot para excluir tu contenido del entrenamiento, y Anthropic y Perplexity aplican la misma separación entre sus propios agentes Rastreadores de OpenAI · 1 Rastreadores de Anthropic · 2 Rastreadores de Perplexity · 3.

¿Por qué un bloqueo genérico a la IA no funciona?

Porque no existe un único "bot de IA": cada proveedor opera varios agentes con finalidades distintas (búsqueda, entrenamiento, acciones de usuario, validación de anuncios) y cada uno atiende a su propia etiqueta en robots.txt. Bloquear solo el agente más conocido deja pasar a los demás, y bloquear de más puede sacarte de los resultados de búsqueda de un asistente sin impedir que otro te rastree. El inventario por proveedor del apartado de pasos lista cada agente verificado con su finalidad y su etiqueta exacta.

¿Qué límites tiene robots.txt con estos agentes?

robots.txt es una declaración de intenciones, no un cortafuegos: los agentes legítimos la respetan, pero nada impide técnicamente que un mal actor la ignore, y algunos agentes de acciones iniciadas por el usuario pueden no aplicar las reglas de robots.txt, como advierte OpenAI para ChatGPT-User Rastreadores de OpenAI · 1. Además, los cambios tardan en propagarse: OpenAI y Perplexity indican unas 24 horas desde la actualización del archivo Rastreadores de OpenAI · 1 Rastreadores de Perplexity · 3. Decide por agente y objetivo, documenta la elección y verifica en los registros del servidor, no solo en el archivo.

Requisitos y alcance del control de bots de IA

Para controlar bots de IA necesitas acceso de escritura al archivo robots.txt en la raíz de cada subdominio que quieras cubrir, la lista de agentes que te visitan (obtenida de los registros del servidor por cadena de agente de usuario) y la documentación oficial de cada proveedor para no confundir etiquetas parecidas. También necesitas saber qué quieres conseguir: aparecer en las respuestas de un asistente, excluir tu contenido del entrenamiento o ambas cosas con agentes distintos.

¿Qué necesitas antes de tocar el archivo?

Antes de tocar el archivo necesitas el inventario de agentes que te rastrean hoy, con su volumen de peticiones y las URL que piden, porque una regla escrita a ciegas puede bloquear al agente equivocado. Necesitas además leer la documentación vigente de cada proveedor, ya que los agentes y sus comportamientos cambian: esta guía refleja lo verificado el 1 de noviembre de 2026. Y necesitas un margen de al menos 24 horas antes de evaluar el efecto de cualquier cambio.

¿Qué queda fuera del alcance de esta guía?

Esta guía cubre los agentes con documentación oficial descargable y verificada (OpenAI, Anthropic, Perplexity, Apple y Google) y no prescribe una configuración única, porque la decisión depende de tu objetivo. Dos agentes citados en análisis de terceros, Meta-ExternalAgent y Bytespider, se reportan como no verificados en el apartado de fuentes. El control de fragmentos en Bing mediante data-nosnippet existe pero no se descargó su documentación en esta sesión, así que aquí solo se documentan los controles de fragmentos de Google.

1. 01

   Registra los agentes de OpenAI según su finalidad

   Para controlar el rastreo de OpenAI, distingue sus cuatro agentes. OAI-SearchBot rastrea para resultados de búsqueda: permítelo si quieres aparecer en las búsquedas de sus productos. GPTBot recoge contenido que puede usarse para entrenar modelos fundacionales: bloquéalo si quieres excluir tu contenido del entrenamiento. ChatGPT-User ejecuta acciones pedidas por usuarios (visitar una página para responder) y no sirve para gestionar la aparición en Search; sus reglas de robots.txt pueden no aplicarse al iniciarse por el usuario. OAI-AdsBot solo visita páginas enviadas como anuncios para validarlas y no entrena modelos con ellas. Los ajustes son independientes y los cambios tardan unas 24 horas en aplicarse. Fuente: 1.

2. 02

   Registra los agentes de Anthropic y Perplexity

   Para controlar el rastreo de Anthropic, distingue Claude-SearchBot (mejorar la calidad de las respuestas de búsqueda), ClaudeBot (recoger contenido que podría contribuir al entrenamiento) y Claude-User (recuperar páginas cuando un usuario lo pide; bloquearlo reduce tu visibilidad en esas búsquedas dirigidas por el usuario). Anthropic admite además la extensión no estándar Crawl-delay para limitar el ritmo. Para Perplexity, distingue PerplexityBot (mostrar y enlazar sitios en sus resultados; no rastrea para modelos fundacionales) de Perplexity-User (visitas iniciadas por preguntas de usuarios; no rastrea ni entrena). Los ajustes de Perplexity son independientes y tardan hasta 24 horas en reflejarse. Fuentes: 2 y 3.

3. 03

   Registra Applebot, Googlebot y los controles de fragmentos

   Para controlar el rastreo de Apple, distingue Applebot (contenido para Spotlight, Siri y Safari, cuyos datos también pueden usarse para entrenar modelos fundacionales de Apple) de Applebot-Extended, cuya exclusión en robots.txt indica no usar el contenido para ese entrenamiento. Para Google, gestiona Googlebot con robots.txt y controla por separado qué muestra en fragmentos: la metaetiqueta nosnippet impide mostrar fragmento, max-snippet limita su longitud y el atributo data-nosnippet excluye partes concretas de la página. El rastreo y el fragmento son controles distintos sobre el mismo contenido. Fuentes: 4, 5 y 6.

4. 04

   Adapta el ejemplo comentado a tu objetivo

   Para redactar tus reglas, parte del siguiente ejemplo, que es una ilustración genérica, no una configuración recomendada: cada Allow y Disallow debe responder a tu objetivo (búsqueda, entrenamiento o ambos) y no copiarse sin adaptar. ``` # Ilustración: ejemplo genérico con agentes verificados. # No copiar sin adaptar: cada Allow/Disallow depende de tu objetivo. User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Disallow: / User-agent: Claude-SearchBot Allow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Applebot Allow: / User-agent: Applebot-Extended Disallow: / User-agent: Googlebot Allow: / ``` Comprueba que cada etiqueta coincide exactamente con la documentada por su proveedor y que el archivo se sirve en la raíz de cada subdominio. Fuentes: 1, 2, 3, 4 y 5.

5. 05

   Verifica la propagación en los registros del servidor

   Para verificar el cambio, espera al menos 24 horas y revisa en los registros del servidor qué pidió cada agente, con qué código de estado y sobre qué URL, en lugar de fiarte solo del archivo publicado. Confirma que los agentes permitidos reciben HTTP 200 con contenido y que los bloqueados reciben la respuesta de exclusión prevista. Si un agente de acciones de usuario sigue visitando páginas tras bloquearlo, recuerda que ese comportamiento está documentado y no indica un error de sintaxis. Fuentes: 1 y 3.

Errores frecuentes con robots.txt y bots de IA y cómo comprobarlos

Bloqueé GPTBot y sigo sin aparecer en ChatGPT Search

En OpenAI el agente de búsqueda es OAI-SearchBot, no GPTBot: bloquear GPTBot solo indica excluir el contenido del entrenamiento, mientras que la aparición en resultados se gestiona con la política de OAI-SearchBot Rastreadores de OpenAI · 1. Revisa qué etiqueta bloqueaste realmente y verifica en los registros si OAI-SearchBot recibe el contenido. Permitir el rastreo, en todo caso, no garantiza selección ni cita.

ChatGPT-User visita páginas que bloqueé en robots.txt

Ese comportamiento está documentado: ChatGPT-User ejecuta acciones iniciadas por usuarios y sus reglas de robots.txt pueden no aplicarse, además de no servir para gestionar la aparición en Search Rastreadores de OpenAI · 1. Para gestionar el rastreo automático usa OAI-SearchBot; para las peticiones de usuario, el control documentado es Claude-User en el caso de Anthropic, que sí permite a los propietarios decidir qué sitios responden a esas peticiones Rastreadores de Anthropic · 2.

Cambié robots.txt y nada ha cambiado todavía

Los cambios tardan en propagarse: OpenAI habla de unas 24 horas para resultados de búsqueda y Perplexity de hasta 24 horas para reflejar sus ajustes Rastreadores de OpenAI · 1 Rastreadores de Perplexity · 3. Espera el plazo completo y vuelve a medir en los registros del servidor antes de concluir que la regla no funciona. Un cambio evaluado a los pocos minutos no es evidencia de nada.

El sitio funciona para visitantes pero falla para rastreadores de IA

Un cortafuegos o una regla anti-bots puede devolver errores solo a rastreadores mientras el sitio funciona para visitantes. Revisa los registros por cadena de agente y confirma que cada agente permitido recibe HTTP 200 con contenido. El volumen justifica la auditoría: Vercel midió en su red 569 millones de peticiones mensuales de GPTBot, 370 de Claude, 314 de AppleBot y 24,4 de PerplexityBot en diciembre de 2024, con un 34 % de peticiones de ChatGPT y Claude terminando en 404 por selección deficiente de URL Estudio de Vercel · 7. Esa muestra describe su red y su periodo, no tu sitio.

Confundo qué controla cada agente de Anthropic

Anthropic separa tres finalidades: ClaudeBot recoge contenido que podría contribuir al entrenamiento, Claude-SearchBot analiza contenido para la calidad de las respuestas de búsqueda y Claude-User recupera páginas a petición de usuarios Rastreadores de Anthropic · 2. Bloquear el de entrenamiento no te saca de la búsqueda y bloquear el de búsqueda no te excluye del entrenamiento. Decide por agente y documenta cada elección con su motivo.

Google muestra fragmentos que preferiría ocultar

Para controlar fragmentos en Google sin bloquear el rastreo, usa la metaetiqueta nosnippet para impedir el fragmento, max-snippet:[número] para limitar su longitud o el atributo data-nosnippet en las partes que no deban aparecer Controles de fragmentos de Google · 6. Son controles de presentación, no de rastreo ni de elegibilidad: la página sigue rastreándose igual. Comprueba el efecto en los resultados de Google, no en otros asistentes.

Qué conviene priorizar al controlar bots de IA

El orden de trabajo es documentar primero y bloquear después: una regla escrita sin inventario ni objetivo claro suele bloquear al agente equivocado. Revisa la documentación oficial cuando cambie tu configuración, porque los agentes y sus comportamientos evolucionan.

Lista de comprobación antes de dar el archivo por terminado

• ¿Cada etiqueta del archivo coincide con la documentada por su proveedor?
• ¿Las decisiones de búsqueda y entrenamiento están separadas por agente?
• ¿El archivo se sirve en la raíz de cada subdominio que quieres cubrir?
• ¿Has esperado 24 horas y comprobado los códigos de estado por agente en los registros?
• ¿Están documentados el objetivo, la fecha y la persona responsable de cada regla?

Fuentes, tipos de evidencia y revisión de la guía de robots.txt

Autoría: Equipo Visibiliza.me. Revisión del contenido y de las fuentes: 1 de noviembre de 2026. Las comprobaciones de descarga (estados HTTP y redirecciones) se hicieron ese día con curl y pueden cambiar después.

1. OpenAI. Overview of OpenAI Crawlers. Documentación oficial de rastreadores. Describe OAI-SearchBot, GPTBot, ChatGPT-User y OAI-AdsBot, la independencia de sus controles y el plazo de unas 24 horas. Permitir el rastreo no garantiza selección ni cita.
2. Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler? Documentación oficial de rastreadores. Describe ClaudeBot, Claude-SearchBot y Claude-User, sus controles robots.txt independientes y la extensión Crawl-delay.
3. Perplexity. Perplexity Crawlers. Documentación oficial de rastreadores. La URL redirige a la página de rastreadores con HTTP 200. Describe PerplexityBot y Perplexity-User, la independencia de sus ajustes y el plazo de hasta 24 horas.
4. Apple. About Applebot. Documentación oficial. La URL clásica redirige a esta página con HTTP 200. Describe Applebot (Spotlight, Siri, Safari, con posible uso en entrenamiento) y la exclusión de entrenamiento mediante Applebot-Extended.
5. Google Search Central. Introduction to robots.txt. Documentación oficial. Describe la sintaxis y el funcionamiento de robots.txt. La variante de URL con segmento duplicado devolvió 404; esta es la canónica verificada.
6. Google Search Central. Control your snippets in search results. Documentación oficial. Describe nosnippet, max-snippet y data-nosnippet. Su alcance es la presentación en Google, no el rastreo ni otros asistentes.
7. Zecchini, Giacomo; Moore, Alice Alexandra; Ubl, Malte; Siddle, Ryan. Vercel y MERJ. (17 de diciembre de 2024). The rise of the AI crawler. Análisis técnico original. Aporta volúmenes de rastreo en su red y la lista de agentes que no ejecutaban JavaScript entonces, incluidos Meta-ExternalAgent y Bytespider. Es una observación de su muestra y periodo, no documentación oficial de ningún proveedor.

Agentes no verificados: Meta-ExternalAgent y Bytespider aparecen solo como nombres en el análisis de Vercel 7. La documentación oficial de Meta para webmasters no pudo descargarse en esta sesión (página de error HTTP 400 con curl, requiere ejecución de JavaScript o sesión) y no se localizó documentación oficial descargable de Bytespider, por lo que esta guía no afirma su finalidad ni su control. Tampoco se documentan aquí los controles de fragmentos de Bing, cuya página oficial no se descargó en esta sesión.

Lecturas relacionadas

• Guía GEO: qué es Generative Engine Optimization: el marco general de presencia y atribución en respuestas de IA, con el inventario de rastreadores por proveedor.
• llms.txt: guía de publicación y límites: el formato de consulta para agentes y su límite declarado en Google.
• Qué es AEO (Answer Engine Optimization): cómo responder preguntas con claridad para buscadores y asistentes.
• Cómo medir visibilidad en IA: registra menciones, citas y condiciones de observación por sistema.
• Todas las guías de visibilidad en IA: encuentra otros conceptos relacionados.