AI训练退出标志将统一为一行robots.txt信号

摘要

此前网站需要在robots.txt中为每家AI爬虫分别编写规则。10月30日，OpenAI和Google分别在官方博客宣布，将支持来自IETF AIPREF标准化讨论的共享信号，让网站用一条声明同时告知多家AI厂商自己的训练偏好。OpenAI计划在几个月内开始支持，Google目标在2027年落地，现有的按厂商划分的爬虫控制也将继续可用。这些时间表是两家公司自行公布的目标，尚未实施。

与我们工作的关联

出版商、企业和研究机构按爬虫逐个管理AI政策的重复工作将大幅减少。负责内容与内部文档的团队可以用一行政策划定AI训练的许可范围，更容易设定知识公开与保护的边界。

本文译自韩文原文。 摘要可能经过翻译和编辑。评论是我们的解读，未来预测代表来源的观点。