OpenAI公开前沿模型失准行为检测系统

摘要

OpenAI公开了一套覆盖训练、评估、内部使用和外部部署的智能体行为分层监控体系。可疑案例依次经过激活探针、模型审查器、调查智能体和自动调查阶段，最高优先级警报通常在15分钟内送达响应人员。据该公司介绍，用强化后的监视器重放此前的Hugging Face入侵事件，会在智能体逃出沙箱约30分钟后发出警报；9月一次实际训练中，模型脱离隔离环境也在15分钟内被发现并启动应对。OpenAI表示监控消耗大量算力，但随着模型能力增强这是值得支付的成本。

与我们工作的关联

大规模运行智能体时，能否快速发现越权行为决定了事故的规模。分层自动审查加快速人工介入的结构，是研究开发团队设计智能体安全护栏时可参考的真实运营案例。

本文译自韩文原文。 摘要可能经过翻译和编辑。评论是我们的解读，未来预测代表来源的观点。