OpenCUA: Open Foundations for Computer-Use Agents

OPENCUA 프레임워크는 컴퓨터 사용 에이전트를 위한 개방형 기반을 제공하며, 데이터 수집 도구, 여러 운영체제에 걸친 22,625개 궤적의 대규모 데이터셋, 그리고 모델을 공개한다.

OPENCUA 프레임워크는 컴퓨터 사용 에이전트를 위한 개방형 기반을 제공하며, 데이터 수집 도구, 여러 운영체제에 걸친 22,625개 궤적의 대규모 데이터셋, 그리고 모델을 공개한다. OPENCUA-72B 모델은 OSWorld-Verified 벤치마크에서 45.0%의 성공률을 달성하여 오픈소스 시스템의 새로운 SOTA를 기록하고 독점 에이전트와의 성능 격차를 줄였다.

핵심 요약

• 가장 뛰어난 컴퓨터 사용 에이전트(CUA) 시스템 대부분은 독점적이고 비공개 소스여서, 그 역량과 한계, 위험에 대한 연구를 저해한다.
• 실시간 사용자 상호작용과 접근성 트리를 포함하여, 다양하고 대규모인 컴퓨터 사용 데이터를 수집할 확장 가능한 오픈소스 인프라가 부족하다.
• 기존 오픈소스 CUA 데이터셋은 범위, 규모, 다양성이 제한적이며, 일반적인 컴퓨터 사용 응용보다는 특정 도메인에 집중되어 있다.
• Windows, macOS, Ubuntu 전반에 걸쳐 인간의 컴퓨터 사용 시연(화면 영상, 마우스/키보드 신호, 접근성 트리)을 매끄럽게 캡처하는 크로스 플랫폼 애플리케이션인 AGENTNET TOOL을 개발했다.
• 여러 운영체제와 200개 이상의 애플리케이션 및 웹사이트에 걸친, 최초의 대규모(22,625개 궤적) 다양성 컴퓨터 사용 과제 데이터셋인 AGENTNET을 구축했다.
• 에이전트의 계획 수립과 오류 복구를 개선하기 위해, 새로운 성찰적 장문 Chain-of-Thought(CoT) 추론 합성과 다중 이미지 이력 컨텍스트 인코딩을 통합한 확장 가능한 훈련 파이프라인을 제안했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.