AI 학습만 거부하고 검색 노출과 인용을 유지하는 robots.txt 설정은 OpenAI 봇 토큰에서는 공식 문서로 보장되지만, Google-Extended는 학습과 인용을 한 토큰에 묶어 그 분리를 제공하지 않는다
robots.txt 파일 하나로 AI 로봇의 방문을 통제할 때, 검색에는 나오면서 학습만 막는 설정이 제공사마다 가능 여부가 다르다. 이 글은 내 사이트의 실제 파일과 여섯 로봇의 응답 실험, OpenAI와 Anthropic의 공식 문서를 대조해 어디서 분리 설정이 보장되는지 좁혀 본다.