OpenAI 发布日常任务评测 LifeVal

摘要

OpenAI 发布了新评测 LifeVal，用于衡量模型作为个人助理实际完成日常任务的水平，而不只是回答问题。任务清单来自美国时间使用调查、多国时间使用调查以及一项新的 3,995 人代表性调查，覆盖育儿、家务行政、个人财务、购物和获取公共服务等领域。在比较幼儿园、制定糖尿病诊断后饮食计划等示例任务上，OpenAI 称其最新模型得分在 90.4% 到 100% 之间（数据来自 OpenAI 自家评测）。

与我们工作的关联

该评测把衡量标准从模型知道什么转向真正把事做成，显示评测重心正在转移。它可作为个人助理型智能体在真实生活任务上进展程度的基准线。

本文译自韩文原文。 摘要可能经过翻译和编辑。评论是我们的解读，未来预测代表来源的观点。