Artículo · Controles y costes
Entrenar o no entrenar: el dilema de bloquear GPTBot y ClaudeBot
Bloquear GPTBot o ClaudeBot decide sobre entrenamiento, no sobre búsqueda: cada agente tiene su control. Esta pieza ordena qué hace cada bot, cuánto rastreo hay en juego y qué se pierde en cada dirección, sin recomendar una opción universal.
Entrenar o no entrenar: dos interruptores, no uno
Bloquear el rastreo de entrenamiento y aparecer en las respuestas de un asistente son dos decisiones independientes. En OpenAI, el agente de búsqueda es OAI-SearchBot y el de entrenamiento es GPTBot, con controles separados; en Anthropic, ClaudeBot, Claude-SearchBot y Claude-User tienen finalidades y controles propios. La tesis de este artículo es que bloquear el entrenamiento tiene un beneficio documentado —señalizar la exclusión de futuros conjuntos de entrenamiento— y un coste documentado —perder presencia en lo que el modelo ya sabe y, si se bloquea al agente equivocado, perder visibilidad en búsquedas—, y que ninguna fuente respalda una opción válida para todos los sitios.
Por qué el dilema aparece ahora
El dilema de bloquear o no bloquear nace del volumen. Botify estima, sobre unos 7.000 millones de registros entre noviembre de 2024 y marzo de 2026, que el rastreo de OpenAI se triplicó desde agosto de 2025, con subidas rápidas coincidiendo con el lanzamiento de GPT-5. Vercel, por su parte, observó en su red de despliegues que más del 20 % del tráfico eran bots y que una cuarta parte de esos bots eran rastreadores de IA. Con esa presión sobre los servidores, muchos responsables se preguntan si cerrar la puerta a GPTBot o a ClaudeBot.
El error caro no es elegir una opción, sino confundir los interruptores: bloquear al agente de entrenamiento no saca a un sitio de la búsqueda, y bloquear al agente de búsqueda no excluye el contenido del entrenamiento. Cada proveedor documenta sus agentes por separado, y la decisión sensata empieza por leer ese inventario antes de tocar robots.txt.
Controles, funciones y volumen
OpenAI: OAI-SearchBot y GPTBot se controlan por separado
Método, población, fecha y límites junto al dato: documentación oficial de OpenAI, descargada el 1 de noviembre de 2026, sin fecha de publicación localizada en la descarga. Su alcance es la flota de rastreadores de OpenAI (OAI-SearchBot, GPTBot, ChatGPT-User y OAI-AdsBot); permitir el rastreo de búsqueda no garantiza selección ni cita.
Anthropic: tres robots con tres finalidades
Método, población, fecha y límites junto al dato: centro de ayuda oficial de Anthropic, artículo 8896518 fechado el 7 de abril de 2026. Su alcance son los tres robots de Anthropic y sus reglas robots.txt por subdominio, con la extensión no estándar Crawl-delay para limitar el ritmo. No fija un plazo de propagación.
Vercel: entrenar, actualizar, recomendar
Método, población, fecha y límites junto al dato: análisis del proveedor sobre su red de despliegues, donde más del 20 % del tráfico eran bots y una cuarta parte de esos bots eran rastreadores de IA, en la semana previa a la publicación; sin fecha de publicación confirmada en los metadatos descargados. Es la tesis de un proveedor sobre su muestra, no una medición causal universal de cita y recomendación.
Botify: el volumen se triplicó
Método, población, fecha y límites junto al dato: análisis publicado el 23 de abril de 2026 según sus metadatos, sobre registros de su propia red (clientes de Botify) y tres bots —ChatGPT-User, GPTBot y OAI-SearchBot—, con el segmento automatizado formado por GPTBot y OAI-SearchBot. Es una estimación sobre su muestra y una coincidencia temporal con GPT-5, no una causalidad demostrada ni el rastreo de toda la web.
Qué se puede concluir y qué no
Qué queda probado dentro de cada alcance
Que los controles son independientes está documentado por ambos proveedores: bloquear GPTBot indica excluir el contenido del entrenamiento de OpenAI sin gestionar la aparición en búsqueda, y bloquear ClaudeBot indica excluir futuros materiales del entrenamiento de Anthropic sin afectar a Claude-SearchBot. Bloquear al agente de búsqueda, en cambio, sí puede reducir la visibilidad en respuestas: Anthropic lo advierte para Claude-User y Claude-SearchBot, y OpenAI separa ambas funciones con etiquetas distintas.
El coste y el beneficio, con sus límites
El beneficio de bloquear el entrenamiento es una señal documentada de exclusión de futuros conjuntos de datos, no un borrado de lo ya entrenado: ningún proveedor afirma efectos retroactivos. El coste es doble: se pierde presencia en lo que el modelo ya sabe —la tesis de Vercel es que sin datos de entrenamiento la cita es improbable— y, si la regla alcanza por error al agente de búsqueda o a las peticiones de usuario, se pierde visibilidad en respuestas sin ganar nada en entrenamiento.
Además, el bloqueo no silencia todo el tráfico de IA: las peticiones iniciadas por usuarios concretos (ChatGPT-User, Claude-User) siguen llegando si se permiten, y la carga que se ahorra es solo la de los rastreadores automáticos bloqueados. Por eso el volumen —por triplicado que esté— no decide por sí solo: hay que medir en los registros propios qué agente pide qué.
El marco de decisión, sin opción universal
Ninguna de las cuatro fuentes prescribe bloquear o permitir para todos los sitios, y este artículo tampoco lo hace. El marco honesto es: inventariar en los registros qué agentes visitan el sitio, fijar el objetivo (búsqueda, entrenamiento o ambas), escribir reglas por etiqueta exacta, esperar el plazo documentado —unas 24 horas en OpenAI— y comprobar los códigos de estado por agente. Lo que sigue abierto es opaco por diseño: los conjuntos de entrenamiento no son auditables desde fuera y ninguna fuente mide la atribución completa de cita a visita y a venta para un sitio concreto.
Conclusiones del artículo
Bloquear GPTBot o ClaudeBot es una decisión sobre entrenamiento, no sobre búsqueda, y tratarla como un interruptor único es el error que documentan ambas guías oficiales. El volumen triplicado explica la preocupación, pero no prescribe la respuesta: prescribe medir primero.
El paso siguiente no es una regla copiada, sino un inventario: qué agentes te visitan, con qué objetivo decides y qué muestran tus registros tras el plazo de propagación.
Fuentes y revisión
Autoría: Equipo Visibiliza.me. Revisado el 1 de noviembre de 2026. Las comprobaciones de descarga (estados HTTP) se hicieron ese día con curl y pueden cambiar después.
Lo respaldado por las fuentes consultadas:
- OpenAI, «Overview of OpenAI Crawlers» — respalda la independencia entre OAI-SearchBot (búsqueda) y GPTBot (entrenamiento), los cuatro agentes y el plazo de unas 24 horas. Documentación oficial descargada el 1 de noviembre de 2026, sin fecha de publicación localizada; permitir el rastreo no garantiza selección ni cita.
- Anthropic, «Does Anthropic crawl data from the web…» (artículo 8896518, 7 de abril de 2026) — respalda los tres robots (ClaudeBot, Claude-SearchBot, Claude-User), sus controles independientes y Crawl-delay. Alcance: flota de Anthropic y reglas por subdominio; no fija plazo de propagación.
- Vercel, «The three types of AI bot traffic and how to handle them» — respalda el marco entrenamiento, actualización y recomendación y el volumen de bots en su red (>20 % del tráfico, una cuarta parte de IA). Tesis del proveedor sobre su muestra, sin fecha de publicación confirmada; no es una medición causal universal.
- Botify, «OpenAI Has Tripled Their Crawl of the Web» (23 de abril de 2026) — respalda la estimación de rastreo triplicado desde agosto de 2025 sobre ~7.000 millones de registros (noviembre de 2024 a marzo de 2026). Límite: muestra propia y coincidencia temporal con GPT-5, no causalidad demostrada.
Preguntas frecuentes
¿Si bloqueo GPTBot desaparezco de las respuestas de ChatGPT?
No. En OpenAI el agente de búsqueda es OAI-SearchBot y su control es independiente del de GPTBot: bloquear el entrenamiento indica que el contenido no debe usarse para entrenar modelos, sin gestionar la aparición en resultados. Para salir de la búsqueda habría que bloquear a OAI-SearchBot, que es una decisión distinta con otro coste.
¿Si bloqueo ClaudeBot desaparezco de las respuestas de Claude?
No. Anthropic separa tres robots: ClaudeBot recoge contenido que podría contribuir al entrenamiento, Claude-SearchBot analiza contenido para la búsqueda y Claude-User recupera páginas ante preguntas de usuarios. Bloquear ClaudeBot señala la exclusión del entrenamiento; la visibilidad en búsquedas la gestionan los otros dos agentes.
¿Excluirme del entrenamiento impide que me citen?
No necesariamente. La cita de una respuesta puede venir de la recuperación en vivo de una página actualizada, como describen los bots de actualización de Vercel. Dicho eso, la tesis de Vercel es que sin presencia en los datos de entrenamiento la cita es improbable, así que bloquear el entrenamiento reduce una vía de citación sin cerrar la otra.
¿Cuánto tarda en aplicarse un cambio en robots.txt?
OpenAI documenta unas 24 horas para que sus sistemas ajusten los resultados de búsqueda tras actualizar robots.txt. Espera ese plazo y comprueba en los registros del servidor qué pidió cada agente y con qué código de estado, en lugar de fiarte solo del archivo publicado.
¿Bloquear estos bots reduce mucho la carga de mi servidor?
Solo la de los rastreadores automáticos bloqueados. Las peticiones iniciadas por usuarios concretos, como ChatGPT-User o Claude-User, siguen llegando si se permiten, y el volumen total depende de tu sitio, no de las medias de Botify o Vercel. Mide tus propios registros por agente antes de estimar el ahorro.