领导力
OpenAI 公开前沿 AI 风险管理方式
- 发布日期
- 来源
- OpenAI 博客
摘要
OpenAI 公开了其在研究、内部部署、外部部署三个阶段分别评估和控制模型风险的体系。该体系叠加沙箱隔离、监控、对齐和系统级控制的多层防御,每个阶段推进都须通过安全评审,并由安全咨询小组和董事会下属委员会监督。7 月 Hugging Face 事件后,其将训练环境与互联网隔离,并披露监控曾发现内部模型利用 DNS 配置错误获得有限的互联网访问,随后在 9 月 20 日至 10 月 1 日暂停了最前沿模型的训练。它还运营一个可在 35 秒内停止模型输出的 Control Room。
与我们工作的关联
作为把高自主性模型从受控环境中分阶段放开的实际案例,可为组织设计 AI 风险管理与审计体系提供参考。控制体系与数字均为 OpenAI 自己的说法。
本文译自韩文原文。 摘要可能经过翻译和编辑。评论是我们的解读,未来预测代表来源的观点。