Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

알리바바 Qwen팀의 실제 기기 작동 GUI 에이전트. 모바일·데스크톱·웹을 통합하고 CLI를 결합했다.

이 논은 한마디로 모바일·데스크톱·웹·검색 환경을 하나로 통합하고, GUI 조작과 CLI 실행을 섞어 쓰는 실전형 GUI 에이전트라는 이야기다. 100대 이상의 실제 스마트폰에서 학습하고, 100턴 이상의 긴 작업을 online RL로 학습한다. 모바일 벤치마크에서 82.1%(MobileWorld), 92.2%(MobileWorld-Real), 컴퓨터 사용 79.5%(OSWorld-Verified)를 달성하여 Opus 4.8, GPT-5.6 Sol과 경쟁한다. 알림 기반 자발적 서비스와 크로스 플랫폼 워크플로우도 지원한다.

핵심 요약

• 100대 이상 실제 스마트폰, 150개 이상 앱으로 구성된 실기기 모바일 환경에서 학습 및 평가한다.
• GUI + CLI 혼합 액션 공간으로 한 턴에 여러 액션을 배치 처리(40% 이상이 배치 액션).
• 100턴 이상 장기 작업을 위한 online RL, 10,000개 동시 환경으로 롤아웃 가속.
• 모바일 82.1%(MobileWorld), 컴퓨터 79.5%(OSWorld-Verified), 브라우저 73.6%(WebArena).
• 알림 기반 자발적 서비스 시작, 모바일-PC 크로스 플랫폼 워크플로우를 지원한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.