谷歌发布衡量视觉知识工作的MKA基准

摘要

Google DeepMind与评估机构Artificial Analysis联合发布了多模态知识代理(MKA)基准。10个行业、83个职业的专家编写了200道资深人士需3至8小时完成的实战任务，并按事实准确性75%、视觉呈现25%的评分标准评定。所有模型在同一个开源代理环境中作答，不同模型平均每题消耗30至130轮，效率差距明显。谷歌称自动评分与专家评分的一致率达96%。

与我们工作的关联

对于图纸、报告、表格这类需要用眼处理的知识工作，该基准提供了代理能接管到何种程度的标尺。它同时公布轮数等效率指标，有助于判断是否适合实际落地。

本文译自韩文原文。 摘要可能经过翻译和编辑。评论是我们的解读，未来预测代表来源的观点。