MobileGym：面向移动 GUI 智能体研究的可验证高度并行仿真平台

论文信息

标题: MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research

作者: Dingbang Wu, Rui Hao, Haiyang Wang, et al.

发布日期: 2026-05-25

arXiv ID: 2605.26114v1

PDF 链接: 下载 PDF

3 分钟速览

研究问题：现有移动 GUI 智能体评测环境无法对日常应用（如微信、支付宝）提供可验证的结果信号，也难以支持低成本的在线强化学习并行训练。
核心方法：提出浏览器托管的轻量级 Android 仿真平台 MobileGym，将应用状态建模为结构化 JSON，通过状态比对实现确定性任务判定，并支持毫秒级快照回滚与多实例并行。
关键结果：在 256 个测试任务上，GRPO 训练使 Qwen3-VL-4B-Instruct 成功率从 9.4% 提升至 22.2%（+12.8 个百分点）；在真机可运行的 59 个任务子集上，仿真侧的训练增益保留 95.1%（见论文第 5.2 节）。
主要局限：仿真的视觉精度与真实应用存在细微差异，未完全复现后端动态内容（如实时推荐、广告），且每个应用仅实现主流使用场景，未覆盖全部功能（见论文第 6 节 Limitations）。
适合读者：关注移动 GUI 智能体评测与强化学习的研究者，以及希望构建可控仿真环境进行安全测试和课程训练的开发者。

论文背景和研究动机

移动 GUI 智能体近年取得显著进展，能够根据屏幕截图和自然语言指令操作手机。然而，基准测试和训练环境面临一对基本矛盾：基于模拟器的环境（如 AndroidWorld）虽然可重复，但主要局限于系统工具和开源应用，且每个实例需要数 GB 内存；基于真机的测试（如 MobileBench-OL）能覆盖日常应用，但受制于真实账户、不可控状态、应用版本漂变和物理设备的高昂成本。这两条路径都无法同时满足可验证的结果信号和可伸缩的在线训练两个需求。

日常应用的状态本身具有 “不可读、不可写、不可复制” 的特性：内部余额、订单等状态很难通过 adb 或无障碍树可靠访问；任务相关状态散布在私有存储、缓存和远程服务中；真实应用无法低成本快照和重置，且许多操作不可逆。这些约束使得日常应用无法用于可重复的强化学习实验。

MobileGym 提出了一条折中路线：仅追求交互保真度，即在智能体看到的屏幕和触控反馈层面保持真实感，而不依赖真实后端。它将全部状态表示为结构化 JSON，使同一机制可同时用于确定性校验、配置重置、并行复制和沙箱化操作，从而打破了日常移动应用无法进行可验证、可伸缩研究的困局。

核心方法和技术细节

MobileGym 是一个浏览器托管的 Android 风格仿真环境（见图 3）。其设计围绕结构化状态展开，将应用数据、操作系统设置和设备属性统一建模为 JSON 对象。系统由三层状态模型构成：

世界数据：包含公共实体（如帖子、商品），多为只读。
运行时状态：可被智能体修改的数据，如当前用户的个人资料、应用设置等，仅该层参与配置、重置和比对。
操作系统运行时：实现任务栈、键盘、通知、权限流程、Intent 路由等 Android 核心机制。

每次操作只写入运行时状态，视图由该层叠加世界数据生成。因此状态快照紧凑且稳定，同时完整捕获智能体引起的所有变化，支持全环境状态比对。

导航采用声明式有限状态机建模，每个应用预定义所有 UI 状态及其转换规则，驱动运行时的页面跳转，也为静态分析（如最短路径枚举）和任务自动生成提供基础。跨应用通信则通过简化的 Intent 系统和 ContentProvider 实现。

在任务执行层面，智能体只能观察屏幕截图，输出标准化动作（17 类，如点击、滑动、输入等，见附录 C），由 Playwright 注入事件。每个任务关联一个确定性程序化判决器，直接检查运行时状态，替代不可靠的 VLM 评估。对于查询类任务，引入 AnswerSheet 协议（见图 4）：智能体需像填写表单一样在 GUI 中输入答案，支持类型化匹配（数值容差、日期格式等），从根本上杜绝了自由文本匹配的误判。

MobileGym-Bench 据此构建了 416 个参数化任务模板（256 测试 + 160 训练），覆盖 28 款应用（12 款日常应用和 16 款系统应用）。任务模板在运行时通过指令改写、参数抽样和环境状态配置组合出超过 27,000 个不同实例，避免记忆固定答案。难度分 L1–L4 四级，基于 8 个参考模型的成功率和进度率后验校准，确保测试集对当前模型具有足够区分度（见论文第 4.4 节）。

创新点和贡献

面向日常应用的全可编程状态模型 与仅能访问 UI 树或部分数据库的现有平台不同，MobileGym 将完整环境状态结构化并暴露给研究者，支持确定性校验和全环境副作用检测，这在移动智能体基准中属于首次（见表 1 对比）。例如，即使用户成功完成任务但发送了意外短信，也能被自动探测并计入 USE 指标。
轻量并行与在线 RL 可行性 每个浏览器实例仅占用约 400 MB 内存，冷启动约 3 秒，单台服务器可支撑数百个并行环境。这从根本上降低了在线 RL 的训练门槛，摆脱了对昂贵模拟器集群的依赖（见论文第 5.3 节）。论文展示了在 3 个 GPU 上以 96 个环境实例并行进行 GRPO 训练，获得了可迁移至真机的策略（见表 11、图 5）。
可扩展的声明式任务框架 正交的抽象维度（范围、目标、组合、难度）和 13 个能力标签形成清晰的任务分类体系。声明式导航支持自动化任务生成和难度标定，方便社区扩展新应用和领域。
Sim-to-Real 迁移验证 在 59 个可安全部署于真机的任务上，仿真训练的增益（+40.7 个百分点）与仿真侧增益（+42.8 个百分点）高度一致，展示了交互保真度仿真的策略迁移能力（见图 5）。同时，对真机轨迹的 VLM 误判审计（Qwen3.6-Plus 和 GPT-5.4 均给出 10.2% 的误判率）反证了程序化判决的必要性（见附录 J）。

实验结果分析

9 个智能体在 MobileGym-Bench 上的整体成功率跨度从 9.4% 到 58.8%（表 2），其中 Gemini 3.1 Pro 居首。难度层 L1–L4 的 SR 单调下降，L4 仅 Gemini 维持 21.9%，其余模型均低于 6.2%，表明最困难的任务仍远未解决。Unexpected Side Effects 指标在不同模型间显著变化（4.7%–14.5%），即使成功率相近的 GUI 专用模型（12.9%–15.4%）其副作用发生率也相差近两倍，凸显了全环境状态比对的独特价值。

GRPO 训练实验使用 Qwen3-VL-4B-Instruct 作为基座，在训练集的 160 个任务上运行 10 步，奖励信号基于进度率并乘以后果惩罚（如副作用、假完成等）。结果显示整体测试 SR 提升 12.8 个百分点，主要增益集中在 L2（+25.4 点）和 L1（+21.3 点），L4 近乎持平（+0.9 点），说明训练对基础较好的模型增益明显，而对极难任务受限于容量（见表 11）。

真机评估按训练表现分层抽样 74 个任务（见图 5），在 59 个信号子集上，从基线的 32.2% 大幅拉升至 72.9%，成功率接近仿真侧表现（76.7%）。案例分析表明，训练后的模型能在真机解析 “缺少标签” 的视觉线索并主动补充必填字段，而基座模型陷入循环点击（见图 6 和 Listing 1）。该结果间接证明仿真环境传递了可泛化的交互策略，而非过拟合于模拟器细节。

实践建议

对于希望利用 MobileGym 开展研究的读者，以下建议可供参考：

优先使用程序化判决：基于 VLM 的自动评判在真实轨迹上仍存在约 10% 的误判（见附录 J），设计任务时务必采用 AnswerSheet 或状态检查器，以获得确定的奖励信号。在仿真侧可进一步利用全环境状态比对捕捉副作用，保障安全训练。
聚焦中等难度任务的强化学习：从 GRPO 实验结果看，L2 级别任务受益最明显，而 L4 几乎无提升。建议初期将训练数据集中在智能体已有一定能力的难度区间，利用密度奖励逐步突破。
结合参数化实例化提高泛化能力：通过指令变体、参数采样和环境配置组合可以生成大量不重复的任务实例，有效抑制策略对特定布局或答案的记忆。在设计自定义基准时，应充分利用声明式导航和状态模型来批量生成多样任务。
轻量并行加速实验循环：单节点 256 并行实例可在约 6 分钟内完成整轮评估，使在线 RL 实验迭代周期大幅缩短。建议在 GPU 训练节点上直接部署环境池，减少网络传输延迟。
利用沙箱特性进行高风险场景研究：MobileGym 的无后果操作特性天然适合测试支付、删除、账户注销等高风险操作，可在不触碰真实银行系统和社交账号的情况下评估智能体的执行能力和安全边界，为安全对齐研究提供基础设施。