VeriCUA: Verification as Agentic Exploration for Computer-Using Agents

이 논문은 컴퓨터 사용 에이전트의 과제 완료 검증을 문맥 탐사, 루브릭 작성, 증거 수집의 능동적 탐색으로 바꾸는 문제를 풀었다.

이 논문은 한마디로 컴퓨터 사용 에이전트의 작업 완료 판정을 검증자가 직접 환경과 녹화를 탐색하며 증거를 모으는 과정으로 만드는 틀 VeriCUA를 제안한다. 검증자는 먼저 사용할 수 있는 문맥을 살펴 과제 루브릭을 만들고, 남은 요건마다 GUI 또는 코드 검사를 골라 증거를 모은다. 증거 규칙이 출처 속성에 따라 결과를 결합해 성공, 실패, 보류 판정을 낸다. 온라인과 오프라인 설정 모두에서 기준 판정자보다 높은 일치도를 보였다.

핵심 요약

• 검증자가 환경이나 녹화를 먼저 살펴 문맥을 얻은 뒤 지시문에 맞는 세분화 루브릭을 만들고 각 요건에 GUI 또는 코드 검사를 골라 증거를 모았다.
• 긁어온 증거에 입증과 주장 출처 표식을 붙여 에이전트의 완료 선언은 단독으로 요건 충족 판정에 쓰지 못하게 했다.
• 안드로이드월드 온라인 환경에서 정확도 90.5%, 거짓 양성률 7.7%로 비교 기준보다 가장 높은 정확도와 가장 낮은 거짓 양성률을 얻었다.
• 오프라인 검증에서 OSReward-Hard 정확도 70.4로 비교한 판정자 가운데 가장 앞섰고 어려운 사례에서 격차가 컸다.
• 코드 기반 상태 읽기를 더하면 결정률과 재현율이 오르고 거짓 양성은 그대로였으며, 시각 검사 통과를 더하면 일치도와 결정률이 모두 87%에 닿았다.
• 세 온라인 환경에서 거짓 완료 보고의 약 80%를 걸러냈고 그 차이는 ScienceBoard에서 가장 컸다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.