Xiaomi-GUI-0 Technical Report

샤오미의 실기기 기반 엔드투엔드 GUI 에이전트. 실제 모바일 환경에서 데이터 수집부터 훈련·평가까지闭环 구축, RealMobile 72.0%·AndroidWorld 78.9% 달성.

Xiaomi-GUI-0는 실제 물리적 기기에서 데이터 수집, 훈련, 평가를 수행하는 네이티브 멀티모달 GUI 에이전트다. 핵심은 실기기 중심의 하이브리드 인프라와 에러 기반 데이터 플라이휠이며, SFT→Step RL→Agentic RL의 3단계 점진적 훈련으로 기본 조작부터 장기 계획, 오류 복구까지 점진적 역량을 개발한다. 오류 궤적을 교정 액션·반성 설명·복구 데모로 변환하여 비정상 상태 인식과 자기 복구 능력을 크게 향상시켰다.

핵심 요약

• 실기기 중심 하이브리드 인프라: 물리 기기 메인 + 샌드박스 보조로 실배포와 동일한 실행 분포 확보
• 에러 기반 데이터 플라이휠: 롤아웃 실패 궤적을 교정 액션·반성 설명·복구 데모로 변환
• 3단계 점진 훈련: SFT(기본 조작) → Step RL(장기 계획) → Agentic RL(오류 복구)
• RealMobile 벤치마크 72.0%, AndroidWorld 78.9% 성공률 달성
• 실사용 환경의 계정 상태, 권한 다이얼로그, 결제 인증, 리스크 컨트롤 등 비정상 상태 대응 능력 강화
• 에뮬레이터 감지 메커니즘 우회 문제 해결을 위해 실기기 폐루환경 구축

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.