Permisos de crawlers de IA: búsqueda y entrenamiento
Guía práctica AEO para separar búsqueda, entrenamiento y acceso solicitado por usuarios, con documentación primaria de OpenAI y Google.
Una política de crawlers de IA debe partir del uso que queremos permitir: descubrimiento en búsqueda, entrenamiento de modelos o una visita solicitada por una persona. Tratarlo como un único permiso dificulta interpretar una auditoría AEO. Un bloqueo pensado para entrenamiento puede afectar a la búsqueda si se dirige al agente equivocado.
Búsqueda y entrenamiento tienen controles diferentes
OpenAI documenta controles independientes: OAI-SearchBot sirve a la búsqueda de ChatGPT y GPTBot recoge material que puede utilizarse para entrenar modelos. También distingue ChatGPT-User, que realiza determinadas visitas iniciadas por usuarios, en lugar de rastreo automático. Las reglas robots pueden no aplicarse a esas visitas. Permitir acceso no garantiza una cita.
Google establece otra distinción. Googlebot controla el rastreo para Search, incluidas sus funciones de IA. Google-Extended gestiona determinados usos de entrenamiento y grounding fuera de Search; Google indica que no afecta a la inclusión ni al posicionamiento en Search. Estos controles no son intercambiables entre proveedores.
Prepara una matriz de permisos antes de editar robots.txt
Utiliza una fila por proveedor y uso. Registra la decisión deseada, el control oficial, las rutas afectadas, el responsable y la fecha de revisión. Una matriz útil distingue permiso y observación: una ruta permitida, una descarga correcta, una página indexada y una respuesta con cita son hechos diferentes.
- Búsqueda: identifica el crawler o control documentado para la experiencia de búsqueda que te interesa.
- Entrenamiento: registra la preferencia separada cuando el proveedor la ofrezca.
- Acceso solicitado por usuarios: revisa por separado su comportamiento documentado.
- Material restringido: protege el acceso con autenticación cuando corresponda; no utilices robots.txt como sistema de control de acceso.
Comprueba la política servida, además del archivo del repositorio
Por ejemplo, un propietario puede permitir el descubrimiento de sus guías públicas en búsqueda y rechazar su uso para entrenamiento. Registra dos decisiones explícitas. Si un manual con licencia debe mantenerse privado, gestiona su acceso por separado: una preferencia de entrenamiento no protege el archivo.
La auditoría que proponemos empieza en el origen público. Lee el robots.txt que devuelve realmente el servidor y compáralo con la política prevista. Comprueba si el alojamiento, una CDN o una regla de gestión de bots modifica la respuesta. Un archivo correcto en Git no demuestra que el crawler reciba esa versión.
- Inspecciona el estado HTTP y el contenido del robots.txt público.
- Comprueba el acceso y la indexabilidad de un artículo, una guía y una página de servicio representativos.
- Revisa si la CDN o el cortafuegos aplican desafíos o bloqueos a peticiones permitidas.
- Utiliza las indicaciones de verificación del proveedor para atribuir peticiones; el nombre del user-agent por sí solo es una evidencia débil.
- Guarda el resultado observado y la hora del cambio para poder comparar auditorías equivalentes.
Mide la visibilidad después de la comprobación técnica
En una revisión AEO, conserva un conjunto estable de preguntas y registra el motor, la fecha, la respuesta y las URLs citadas. Compara observaciones repetidas: una cita ausente en una sola respuesta no prueba un bloqueo de rastreo. La relevancia del contenido, la recuperación de fuentes y la construcción de la respuesta son diferentes del permiso del servidor.
Una regla práctica consiste en resolver primero el problema de acceso demostrado y evaluar las citas por separado. Si la respuesta pública es correcta pero una página no aparece en una respuesta, investiga la pregunta, la página fuente y las evidencias competidoras antes de volver a modificar permisos de rastreo.
Qué documentar al entregar la gestión
Deja la matriz de permisos, las referencias oficiales, la respuesta pública comprobada, las URLs representativas, el responsable y una fecha futura de revisión. No atribuyas una mejora de visibilidad a un cambio de robots sin una comparación que lo respalde. Esta es una guía documental. No prueba todos los proveedores ni recomienda aplicar la misma política a todas las webs.
Documentación revisada el 11 de octubre de 2026. El comportamiento de los proveedores puede cambiar; consulta las fuentes primarias enlazadas antes de aplicar una configuración.