Omni-Workspace: Benchmarking Omni-Modal AI Assistants on Multimodal Workspace Tasks

발행일
출처
arXiv
논문 번호
1477
분야
AI / Agents
arXiv 번호
2611.19202

오디오·영상·이미지·문서가 섞인 작업 공간에서 장기 과제를 수행하는 올모달 에이전트 벤치마크이고 최고 모델도 평균 65.93점에 그쳤다.

이 논문은 한마디로 여러 모달 파일이 든 작업 공간에서 증거를 통합해 결과물을 만들게 하는 에이전트 벤치마크 Omni-Workspace를 소개한다. 과제 380개가 4가지 작업 공간 유형과 2개 난이도로 구성되어 있다. 모델 18개를 평가했을 때 최고 모델도 평균 65.93점에 그쳤다. 저자들은 다중모달 콘텍스트 팽창과 과제 상태 표류를 반복 문제로 짚고, 작업 기억 관리와 과제 상태 추적을 더한 OmniFocus를 제안했다.

핵심 요약

  • 오디오, 영상, 이미지, 문서 파일이 섞인 작업 공간에서 결과물을 만들게 하는 과제 380개의 벤치마크를 만들었다.
  • 모델 18개를 평가했을 때 최고 성적이 Gemini 3.5 Flash의 평균 65.93이었고 60점을 넘은 모델은 2개뿐이었다.
  • 도구 사용과 코드 실행이 필요한 L2 과제에서 모든 모델이 L1보다 낮은 점수를 받았다.
  • 오류 분석에서 다중모달 콘텍스트 팽창과 과제 상태 표류가 반복되는 문제로 나타났다.
  • 작업 기억 관리와 명시적 과제 상태 추적을 더한 OmniFocus가 성적과 효율을 함께 개선했다.
  • Gemini 3.1 Pro Preview에서 OmniFocus의 입력 토큰은 271.07k로, 두 장치를 모두 뺀 설정의 615.81k보다 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)