Google、視覚的な知識労働を測るベンチマーク「MKA」を公開

要約

Google DeepMindは評価機関Artificial Analysisと共同で、マルチモーダル知識エージェント(MKA)ベンチマークを公開した。10業種83職種の専門家が、ベテランで3〜8時間かかる実務課題200問を作成し、事実の正確性75%・視覚表現25%の採点基準で評価する。すべてのモデルが同じオープンソースのエージェント環境で課題に取り組み、モデルごとに平均30〜130ターンを消費し効率の差が大きかった。Googleの発表では、自動採点は専門家の採点と96%一致したという。

仕事との関連

図面・報告書・スプレッドシートなど目で見る知識労働について、エージェントがどこまで代行できるかの物差しができた。品質に加えてターン数などの効率指標も示すため、実務導入の判断に役立つ。

韓国語の原文を翻訳した記事です。 要約には翻訳と編集を含みます。コメントは私たちの解釈であり、将来予測は出典の見解です。