MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research

MOBILEGYM은 모바일 GUI 에이전트 연구를 위한 브라우저 기반 시뮬레이션 플랫폼으로, 구조화된 JSON 상태로 앱 상호작용을 모델링하는 경량·검증 가능·고도 병렬 환경을 제공한다.

MobileGym은 일상 모바일 앱의 화면 상호작용을 브라우저에서 재현하고 전체 상태를 구조화된 JSON으로 제어하는 경량 시뮬레이션 환경이다. 상태를 읽고 초기화하고 복제할 수 있어 결과를 결정적으로 판정하며, 한 서버에서 수백 개의 강화학습 롤아웃을 병렬 실행할 수 있다. MobileGym-Bench는 28개 앱에 걸친 416개 매개변수화 작업 템플릿과 자유 텍스트 오판을 줄이는 구조화된 답안 방식을 제공한다. Qwen3-VL-4B-Instruct의 GRPO 학습은 256개 테스트 작업에서 12.8%포인트를 높였고, 59개 실제 기기 부분집합에서는 시뮬레이션 학습 이득의 95.1%가 유지됐다. 다만 실제 앱과 세밀한 화면 모양이 다르고 실시간 백엔드 현상을 모두 재현하지 않으며, 각 모의 앱의 기능 범위도 주요 사용 시나리오에 한정된다.

핵심 요약

• 실제 휴대폰에서 실행한 59개 작업의 부분 집합에서, 학습된 모델의 통과율은 32.2%에서 72.9%로 급등했다.
• 분석 결과 모델은 시뮬레이션에서 실제 환경으로 옮겨갈 때 성능 향상분의 95.1%를 유지했다.
• 학습의 민주화: 적은 RAM만 차지하면서 표준 서버에서 구동되므로, 대규모 컴퓨팅 클러스터가 없는 연구 그룹도 온라인 RL을 수행할 수 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.