四大模型厂给爬虫立规矩：robots 训练令牌
据腾讯新闻、AI 发财日报 10 月 31 日报道，OpenAI、谷歌、微软与 Anthropic 表示将支持一项新标准，让网站在既有的 robots.txt 里写入一个共享的「策略令牌」，一次性表达 AI 训练偏好，而不必逐家去配置爬虫规则。这事儿不大，但可能改变内容方和模型公司的博弈方式，值得内容从业者盯一下。
以前咋拦训练的
过去出版方、内容站想说「别拿我的东西训模型」，得挨家挨户发邮件、写条款，举证成本高得离谱。Cloudflare 搞过整站拦截、也试过 RSL 收费，但都缺一个跨厂商的统一口径。说白了，大家都在各拦各的，模型公司照样能说「我不知道你不同意」。结果就是，内容方明明不乐意，却拿不出低成本的证据。
这次的令牌长啥样
新思路是把「拒绝被训练」变成一个机器可读的信号：在 robots.txt 里加一条共享的策略令牌，一次写完，所有支持的爬虫都看得懂。提案由 Anthropic 标准技术负责人在 IETF 框架下提出，Anthropic 已先行采用；OpenAI 说未来数月落地，谷歌与微软定于明年支持；微软还会把「AI 训练」和「AI 检索增强」拆成两个独立偏好。等于把「能不能用来训练」和「能不能用来检索」分开管，精细了不少。
改的不是版权，是取证成本
得把话说准：这条令牌解决不了授权和定价，它解决的是「我反对过」这件事能不能被低成本证明。以前要拿逐家邮件去举证，现在一条 nginx 配置就是证据链起点。谈判桌上，内容方的位置会明显往前挪。对模型公司来说，也省了被反复指控「偷偷训」的麻烦，双方都轻松点。
对内容站有啥用
如果你是站长，现在就能动手：在 robots.txt 补一条训练退出令牌，并在变更日志里登记生效时间和快照；再回头扒一下近 30 天 GPTBot 等爬虫的访问量，看看命中了哪些目录。合规 SaaS、爬虫识别、数据托管，这波估计会冒出一批新工具。早做准备，等标准普及了你不慌。
也别想太多
它是自愿信号，不是法律答案。AI 公司仍可在不同法域下争合理使用，令牌管不了所有场景。但对咱们普通内容创作者来说，至少「不同意」这件事，从写律师函降级成了改一行配置。这就值了——门槛低到这个程度，沉默的大多数才真正有了说不的权利。
模型公司为啥愿意接
你可能会问，模型公司以前巴不得多抓数据，为啥现在主动支持「拒绝训练」？道理不复杂：与其被一个个内容方起诉、被监管追着问，不如自己定个透明规则，把麻烦挡在前面。支持令牌，等于提前把「我已征得同意」的证明做成了标准动作，长远看反而省成本、降风险。对行业来说，这也是大模型从「野蛮生长」走向「有规可依」的一小步，虽然只是自愿的，但方向对。说到底，规矩立起来，守规矩的人反而跑得稳，这跟咱们做生意是一个理儿，规矩越早立，路才越走越宽。早立规矩的玩家，后面反而少踩坑，这道理放哪行都通，早一步总比晚一步强。
