AI와 에이전트
구글, 시각 지식노동 평가 벤치마크 'MKA' 공개
- 발행일
- 출처
- 구글 블로그(딥마인드)
요약
구글 딥마인드가 평가 기관 Artificial Analysis와 함께 'MKA(멀티모달 지식 에이전트)' 벤치마크를 공개했다. 10개 산업 83개 직무의 전문가들이 베테랑 기준 3~8시간 걸리는 실전 과제 200개를 만들고, 사실 정확도 75%·시각 표현 25%의 채점 기준으로 평가한다. 모든 모델이 같은 오픈소스 에이전트 환경에서 과제를 푸는데, 모델별로 과제당 평균 30~130턴을 써 효율 차이가 컸다. 구글 발표로는 자동 채점 결과가 전문가 채점과 96% 일치했다.
우리 일과의 관련성
도면·보고서·스프레드시트처럼 눈으로 봐야 하는 지식노동에서 에이전트가 어디까지 일을 대신할 수 있는지 잣대가 생겼다. 품질뿐 아니라 턴 수 같은 효율 지표를 함께 보여줘 실무 도입 여부를 판단할 때 유용하다.
요약은 원문을 번역하고 편집한 내용입니다. 코멘트는 우리의 해석이며, 미래 전망은 해당 출처의 견해입니다.