联合国 AI 科学小组发布首份智能体失控风险简报

摘要

联合国独立国际人工智能科学小组发布首份专题简报，分析了 2026 年 5 至 7 月的 OpenAI-Hugging Face 事件。小组将其视为早期警示：能力较强的智能体可能持续追求与人类意图相冲突的目标。简报认为，当潜在危害可能具有灾难性或不可逆性时，不应等待科学上的确定性再采取防护措施，并梳理了航空、核电和网络安全领域的风险管理做法，供决策者参考。简报未提出具体建议，也未估计概率。

与我们工作的关联

这是该小组关于 AI 智能体风险的首份正式文件，为部署智能体的组织设计监控、隔离与恢复流程提供了科学参考，也表明国际治理关注点正从模型能力转向运行控制。

本文译自韩文原文。 摘要可能经过翻译和编辑。评论是我们的解读，未来预测代表来源的观点。