Porque no bloquear es solo el punto de partida: revisa que ninguna regla global bloquee a los robots por accidente, que el contenido esencial esté en el HTML inicial y que la página publique información que merezca citarse. El rastreo crea elegibilidad, no aparición: que Claude-User o Claude-SearchBot puedan acceder no significa que el sistema seleccione la página en una respuesta concreta Rastreadores de Anthropic · 1.
Porque son finalidades distintas con controles independientes. ClaudeBot recoge contenido que podría contribuir al entrenamiento de modelos; Claude-SearchBot analiza contenido para la calidad de las respuestas de búsqueda y Claude-User recupera páginas a petición de usuarios Rastreadores de Anthropic · 1. Bloquear el de entrenamiento no afecta a la búsqueda ni bloquear el de búsqueda excluye del entrenamiento. Revisa qué etiqueta bloqueaste realmente.
Porque ese agente recupera páginas concretas cuando un usuario lo pide, y Anthropic documenta que excluirlo impide recuperar tu contenido en respuesta a una consulta, lo que reduce la visibilidad en esas búsquedas dirigidas Rastreadores de Anthropic · 1. Si quieres aparecer en respuestas dirigidas por usuarios, permite Claude-User aunque ya tengas reglas para los otros dos robots.
Porque Anthropic advierte que bloquear direcciones IP puede no funcionar de forma correcta ni persistente como exclusión, ya que impide leer el archivo robots.txt donde declaras tus preferencias Rastreadores de Anthropic · 1. Usa reglas por robot en el robots.txt de cada subdominio y verifica el efecto en los registros del servidor. Anthropic tampoco intenta saltarse tecnologías anti-elusión como CAPTCHA.
Porque verla en el navegador no demuestra que el rastreador la reciba. En 2024 se observó que los rastreadores de ChatGPT y Claude descargan JavaScript sin ejecutarlo y no leen contenido solo renderizado en cliente Estudio técnico · 2. Descarga la URL con curl, busca la frase principal y compárala con la vista sin JavaScript. Si falta en ambas pruebas, sirve ese contenido desde el servidor.
Porque citar no equivale a respaldar: la respuesta enlaza tu página pero la redacción es del sistema y puede resumir mal o mezclar fuentes. Guarda la afirmación con la fecha y la URL citada, y publica o actualiza una respuesta oficial concreta y localizable. Corregir tu página no garantiza que una respuesta externa cambie.
Porque no existe: la documentación oficial descargada para esta guía describe robots y controles, sin panel de rendimiento ni criterios de selección de fuentes publicados. La medición es manual, con capturas en la propia herramienta y registros del servidor Rastreadores de Anthropic · 1. No presentes estimaciones de herramientas externas como datos oficiales.