Google-Extended 把 AI 训练和引用绑在同一个开关上，只有 OpenAI 的爬虫可以分开设置
想让文章继续出现在搜索结果里，同时拒绝被 AI 学习，这种组合在 OpenAI 一侧有官方文档保证。Google 的 Google-Extended 没有提供这种拆分，关掉学习的同时引用通道也会一起关闭。
标签
robots.txt
2篇文章
用 robots.txt 精准控制 AI 爬虫 — 拒绝训练、放行引用的 2026 策略
很多站点用一行屏蔽 GPTBot 就以为"AI 已挡住"。我实际写了一份把训练、搜索、用户请求爬虫分开控制的 robots.txt，并用标准解析器验证。还包括 Google-Extended 挡不住 AI Overviews 的陷阱，以及 llms.txt 的真实现状。