Reglas de robots.txt para rastreadores de IA
Los rastreadores de las empresas de IA no respetan robots.txt en la misma medida, así que solo funciona si conoces el nombre de los rastreadores de cada empresa y los escribes por separado. Bloquear solo el rastreo para entrenamiento, mantener la visibilidad en búsquedas, ralentizar el rastreo o bloquear todos los nombres publicados: haz clic en una tarjeta para copiar las líneas que van en robots.txt. Cada tarjeta lleva una línea sobre lo que la documentación de esa empresa dice que respeta su rastreador. La franja de cada tarjeta muestra un bloque por grupo User-agent: rojo bloquea, verde permite y amarillo solo ralentiza.
OpenAI asigna el rastreo para entrenamiento a GPTBot. Esta regla no afecta a OAI-SearchBot, que se encarga de la visibilidad en la búsqueda de ChatGPT.
User-agent: GPTBot
Disallow: /La documentación de OpenAI indica que ambos nombres se pueden permitir o bloquear por separado en robots.txt. Los cambios del lado de la búsqueda tardan unas 24 horas en aplicarse.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Bloquea solo OAI-SearchBot, que se encarga de la visibilidad en la búsqueda de ChatGPT. Según la documentación de OpenAI, los cambios tardan unas 24 horas en aplicarse.
User-agent: OAI-SearchBot
Disallow: /Anthropic afirma que ClaudeBot admite la extensión no estándar Crawl-delay y pone este valor (1) como ejemplo.
User-agent: ClaudeBot
Crawl-delay: 1Crawl-delay es una extensión no estándar, así que solo va en el grupo de ClaudeBot, cuyo soporte está declarado. Los otros dos grupos son nombres que, según OpenAI, se pueden tratar por separado.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Crawl-delay: 1Anthropic afirma que ClaudeBot respeta robots.txt.
User-agent: ClaudeBot
Disallow: /Son visitas en las que la pregunta de un usuario de ChatGPT abre la página. La documentación de OpenAI indica que, como estas acciones las inicia un usuario, es posible que las reglas de robots.txt no se apliquen.
User-agent: ChatGPT-User
Disallow: /De los cuatro, es posible que ChatGPT-User no quede sujeto a las reglas. Más que bloquear, sirve para dejar constancia pública de la postura del sitio.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: ClaudeBot
Disallow: /Preguntas frecuentes
- ¿Bloquear en robots.txt detiene el rastreo?
- El estándar que define las reglas de este archivo (RFC 9309, septiembre de 2022) deja claro que robots.txt es un conjunto de reglas que se pide cumplir a los rastreadores, no un mecanismo que decida los permisos de acceso. Incluso las empresas que cumplen las reglas difieren en su alcance.
- Si el User-Agent dice GPTBot, ¿es de verdad OpenAI?
- Cualquiera puede imitar un nombre (User-Agent). OpenAI publica en archivos JSON los rangos de IP de GPTBot, OAI-SearchBot y ChatGPT-User. Si comparas la dirección de conexión con esas listas, puedes descartar las solicitudes que solo toman prestado el nombre.
- ¿Cómo verifico los agentes de Google?
- Google añade firmas Web Bot Auth a algunas solicitudes de sus agentes e indica la dirección de su lista de claves públicas. Si verificas esa firma en tu servidor o CDN, sabrás si el agente es realmente de Google. Google también aclara que no todas las solicitudes llevan firma.
- ¿Qué hago con las visitas que robots.txt no puede filtrar?
- Cuando un agente visita el sitio por indicación de una persona, robots.txt por sí solo no puede filtrarlo. Comprobar los rangos de IP y las firmas de las solicitudes también funciona solo con empresas que ya se identifican. Por eso conviene poner un límite de solicitudes donde una sola solicitud obliga al servidor a hacer mucho trabajo, como la búsqueda, las combinaciones de filtros y las descargas de archivos grandes. Si no registras el User-Agent, la dirección de conexión y la ruta de cada solicitud, cuando algo falle no podrás averiguar quién hizo qué.