MicrosoftとHugging Faceがエージェント評価ベンチマークを公開

要約

MicrosoftとHugging Faceは、エージェントが残したデータベースの最終状態と副作用で成績をつけるベンチマーク ThinkingBox を公開した。507件の業務ワークフローを各20回実行して採点し、文章やツール呼び出しだけでは見逃す失敗を捉える。著者らの測定では、最も安定したモデルでも507タスクのうち241（約47%）しか20回すべて成功しておらず、1回の成功は信頼性を意味しないことを示した。

仕事との関連

実際の業務記録を変更するエージェントを導入する前に、信頼性をどう測るかの具体基準を示す。人間の検収ポイントを決めるのにすぐ使える。

韓国語の原文を翻訳した記事です。 要約には翻訳と編集を含みます。コメントは私たちの解釈であり、将来予測は出典の見解です。