AI 수집 프로그램 robots.txt 레시피
AI 회사마다 수집 프로그램이 robots.txt를 따르는 범위가 다릅니다. 제대로 적용하려면 회사별 이름을 확인해 따로 적어야 합니다. 학습용 수집만 막기, 검색 노출은 열어 두기, 수집 속도 늦추기, 이름이 공개된 프로그램 전부 막기 가운데 원하는 카드를 클릭하면 robots.txt에 붙일 줄이 복사됩니다. 카드마다 그 회사 문서에서 무엇을 지킨다고 밝혔는지도 한 줄로 덧붙였습니다. 카드 위 띠의 한 칸은 User-agent 그룹 하나를 뜻하며, 막는 그룹은 빨간색, 여는 그룹은 초록색, 속도만 늦추는 그룹은 노란색입니다.
OpenAI는 학습용 수집을 GPTBot에 맡깁니다. 이 줄은 ChatGPT 검색 노출을 맡는 OAI-SearchBot에 적용되지 않습니다.
User-agent: GPTBot
Disallow: /OpenAI 문서는 두 이름을 robots.txt에서 따로 허용하거나 막을 수 있다고 적습니다. 검색 관련 변경은 반영까지 약 24시간이 걸립니다.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /ChatGPT 검색 노출을 맡는 OAI-SearchBot만 막습니다. OpenAI 문서에 따르면 고친 뒤 반영까지 약 24시간이 걸립니다.
User-agent: OAI-SearchBot
Disallow: /Anthropic은 ClaudeBot이 표준이 아닌 Crawl-delay 확장을 지원한다고 밝히며, 이 값(1)을 예로 듭니다.
User-agent: ClaudeBot
Crawl-delay: 1Crawl-delay는 표준이 아닌 확장이므로, 지원한다고 밝힌 ClaudeBot 그룹에만 넣습니다. 나머지 두 그룹은 OpenAI 문서가 따로 다룰 수 있다고 적은 이름입니다.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Crawl-delay: 1Anthropic은 ClaudeBot이 robots.txt를 따른다고 밝힙니다.
User-agent: ClaudeBot
Disallow: /ChatGPT 사용자의 질문에 따라 페이지를 여는 방문입니다. OpenAI 문서는 사용자가 시작한 동작이므로 robots.txt 규칙이 적용되지 않을 수 있다고 적습니다.
User-agent: ChatGPT-User
Disallow: /넷 중 ChatGPT-User에는 규칙이 적용되지 않을 수 있습니다. 차단 효과를 내기보다는 사이트의 의사를 공개적으로 밝히는 데 가깝습니다.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: ClaudeBot
Disallow: /자주 묻는 질문
- robots.txt로 막으면 수집이 멈추나요?
- 이 파일의 규칙을 정한 표준(RFC 9309, 2022년 9월)은 robots.txt가 수집 프로그램에 준수를 요청하는 규칙일 뿐, 접근 권한을 정하는 장치는 아니라고 못 박습니다. 규칙을 지키는 회사도 적용 범위는 저마다 다릅니다.
- User-Agent가 GPTBot이면 진짜 OpenAI인가요?
- 이름(User-Agent)은 누구나 흉내 낼 수 있습니다. OpenAI는 GPTBot, OAI-SearchBot, ChatGPT-User 각각의 IP 대역을 JSON 파일로 공개합니다. 접속 주소를 이 목록과 대조하면 이름만 빌린 요청을 가려낼 수 있습니다.
- 구글 에이전트는 어떻게 확인하나요?
- 구글은 자사 에이전트의 일부 요청에 Web Bot Auth 방식의 서명을 붙이고, 공개 키 목록 주소를 안내합니다. 서버나 CDN에서 이 서명을 확인하면 진짜 구글 에이전트인지 가려낼 수 있습니다. 구글은 모든 요청에 서명이 붙는 것은 아니라고 함께 적었습니다.
- robots.txt로 못 거르는 방문은 어떻게 하나요?
- 에이전트가 사람의 지시를 받아 방문하는 경우에는 robots.txt만으로 걸러낼 수 없습니다. IP 대역 대조와 요청 서명도 이미 자신을 밝히는 회사에만 통합니다. 그래서 검색, 필터 조합, 큰 파일 내려받기처럼 한 번의 요청에 서버가 많은 일을 처리해야 하는 곳에 요청 횟수 상한을 겁니다. User-Agent와 접속 주소, 요청 경로를 기록하지 않으면 문제가 생겨도 누가 무엇을 했는지 되짚을 수 없습니다.