OmniGameArena：一个面向 VLM 游戏智能体的统一 UE5 基准，具备改进动力学

OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics

arXiv: 2606.09826v1

论文信息

标题: OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics

作者: Mingxian Lin, Shengju Qian, Yuqi Liu, et al.

发布日期: 2026-06-08

arXiv ID: 2606.09826v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：现有视觉语言模型（VLM）游戏智能体基准测试只报告单次冷启动得分、偏重单人模式、缺乏多轮自我改进的衡量，无法评估智能体在重复尝试中的学习能力。
  • 核心方法：构建 12 款全新的 Unreal Engine 5 游戏（涵盖单人、对抗、合作模式），并设计改进动态曲线（IDC）框架，让智能体在多轮 “游戏-反思-提炼技能” 循环中自主演化。
  • 关键结果：在 IDC 实验中，所有四款顶尖模型都比冷启动基线有显著提升（LastStand 最高增益+0.701），但峰值性能通常出现在曲线上半段而非最后一轮，且源任务增益与变体迁移能力呈负相关（图 5、表 5）。
  • 主要局限：IDC 实验仅覆盖 2 种游戏环境和 4 款模型；反射器仅维护单一技能提示而非技能库；玩家与反射器使用同一底层模型。（见论文第 6 节）
  • 适合读者：从事 AI 智能体评估、具身智能、游戏 AI、LLM/VLM 自我改进机制研究的研究者和工程师。

论文背景和研究动机

随着基础模型从 “回答问题” 转向 “执行动作”，游戏环境成为评估视觉语言模型（VLM）智能体的天然试验场。现有的游戏基准测试（如 BALROG、Cradle、VideoGameBench）虽然涵盖了文本、2D 网格和 3D 开放世界，但存在三个结构性缺陷：其一，只报告每个（智能体，游戏）配对的首次尝试得分，这相当于只衡量 “初试身手” 的静态能力，完全隐藏了智能体在反复交互中的学习曲线；其二，高度偏向单人模式，而对抗（PvP）和合作（Coop）场景严重不足，尽管这两种模式能够探测对手建模、角色分配、错误恢复等独特能力；其三，缺乏统一的评估协议来公平比较商业 VLM、开源 VLM 和专用游戏策略等异构智能体类别。

OmniGameArena 正是为填补这些空白而设计。研究者不仅构建了 12 款全新的 UE5 实时游戏，而且这些游戏是为该基准测试从头创作的（而非复用现有商业游戏），从而降低了预训练数据泄露的风险。更重要的是，他们引入了改进动态曲线（Improvement Dynamics Curve, IDC）这一核心概念，将评估从单点快照扩展为完整的时间序列观测。

核心方法和技术细节

12 款游戏的设计哲学

OmniGameArena 的游戏套件按三类交互模式组织：7 款单人游戏（Solo）、3 款对抗游戏（PvP）和 2 款合作游戏（Coop）。表 1 列举了每款游戏的描述和评估指标。所有进度都归一化到 0,10,1 连续尺度，以保证跨任务的可比性。

值得注意的是，这些游戏并非随机堆砌，而是系统性地覆盖了七种能力维度（图 2）：视觉感知（VP）、空间导航（SN）、反应速度（RT）、记忆力（MEM）、规划（PLN）、对抗能力（ADV）和合作能力（COOP），每款游戏在相应维度上获得 0-3 分的量化评级。例如，LastStand（平台生存游戏）在反应和空间导航上得分最高，而 MidlineClash（竞争性物流游戏）则在对抗和规划维度上表现突出。

污染防护策略

为确保基准测试的新颖性和公正性，研究者采取了积极的数据污染防护措施（见论文第 3.2 节）。首先进行 “网络曝光审计”，确保游戏名称、任务描述、规则文本和评分事件在发布前不会出现在公开网络中。其次，所有 12 款游戏均在 UE5 中全新构建，即使部分视觉资产来自 UE5 市场，但资产的组合方式、关卡几何设计、脚本执行顺序和成功判定标准都是独一无二的。

实证污染分析（表 2）进一步验证了这些措施的有效性。给定游戏截图，代表性模型（如 Gemini）对 OmniGameArena 的游戏识别率为 0.0%，远低于 BALROG（66.7%）和 ORAK（100%）；从视觉输入成功描述底层机制的比例也仅为 50.0%，远低于竞争基准。这表明 VLM 无法通过记忆恢复任务规则，必须依赖实时视觉理解和推理。

IDC 框架：多轮反思与技能演化

IDC 框架是本文最核心的技术贡献（图 3）。它由一个三层循环构成：经验获取模块、反思模块和持久化模块。

经验获取模块在每轮运行 K 个回合，使用当前技能提示 mrm_r 执行动作 at∼πθ(at∣ot,Ht,mr)a_t \sim \pi_\theta(a_t | o_t, \mathcal{H}_t, m_r)，得到轨迹集 τr\tau_r 和 round 得分 Sr=1K∑k=1Ks(τr,k)S_r = \frac{1}{K}\sum_{k=1}^K s(\tau_{r,k})。Round 0 使用空技能（m0=∅m_0 = \emptyset），作为冷启动基线。

反思模块是整个框架的智能中枢。它不是执行固定模板脚本，而是一个拥有工具使用能力的反射器 LLM，自主决定读哪些内容、调用多少次工具、何时终止。反射过程分为四个阶段：

  • 探索：通过只读工具（list_dir、read_text、read_image、grep）暴露本轮轨迹，反射器自主选择检查内容
  • 诊断：通过 submit_diagnosis 提交明确的失败模式列表，区分原因和处方
  • 验证：提出更新后的技能并调用 validate_skill，由独立 LLM 裁判拒绝那些记忆地图内容或与诊断矛盾的提案，反射器最多迭代 5 次才提交
  • 蒸馏：最终确定接受的技能 mr+1m_{r+1}，并可选择性地编辑观察笔记本

持久化模块跨轮维护三种状态：经验笔记本（2000 token 上限的反思者自用日志）、已验证技能（包括当前轮技能 mrm_r 和最佳技能缓存 mr∗m_{r^*}）以及得分曲线序列。

当 Round 得分骤降至最佳得分的一定阈值以下（Sr+1<α⋅Sr∗S_{r+1} < \alpha \cdot S_{r^*}，α=0.5\alpha = 0.5），框架会触发最佳技能回滚机制，将下一轮的起始提示重置为 mr∗m_{r^*}，防止灾难性的技能漂移。

创新点和贡献

本文有三个主要贡献。第一是 OmniGameArena 基准测试本身：12 款 RE5 游戏覆盖三种交互模式，统一动作接口支持异构智能体，专门为本基准构建以降低污染风险。

第二是 IDC 框架的设计。与传统反射方法（如 Reflexion 的单次比较、GameVerse 的 with-vs-without 对比）不同，IDC 运行多轮反射产生完整的得分轨迹，反射器是带有工具使用的 LLM 自主决定检查内容（而非执行固定模板），并且测试习得技能在保留任务变体上的泛化能力。这与 Weng（2026）提出的 “启发式学习” 范式高度一致：LLM 驱动的自我改善是对显式构件（提示、代码、记忆）而非权重的学习过程。

第三是实证发现中揭示的源任务增益与迁移能力的分离。这是 IDC 框架暴露的核心可观测物，传统单轮排行榜完全无法捕获这一现象。

实验结果分析

冷启动排行榜

单人游戏结果（表 3）显示三个显著模式。无单一模型主导：GPT-5.5 在 7 款中领先 4 款，Claude Opus 4.6 以 0.840 得分大幅领先 CueChase（第二名仅 0.580），Gemini 3.1 Pro 主导 MonsterShoot（0.710 vs 次高 0.464）。新模型未必更优：Claude Opus 4.6 在 5 款游戏中表现优于更新的 Opus 4.7，表明能力排名是任务特定的。开源 VLM 和专用策略难以迁移：两款 Qwen3.5 检查点在所有游戏上得分低于 0.15，NitroGen 和 Open-P2P 在多数游戏上接近零分，表明 OmniGameArena 的任务多样性远超这些专为窄域优化的策略的训练分布。

PvP 游戏（图 4）显示 SkyDuel 和 CrystalGuard 的胜率层次与单人排行榜一致，而 MidlineClash 呈现非传递性：Kimi K2.5 以 1.00 胜率击败 Claude Opus 4.6（尽管 Claude 是更强的单人智能体），显示出 MidlineClash 奖励与单人排名无关的特定战术。

合作游戏（表 4）中 GPT-5.5 领先两款游戏，但即使最强的模型在 SharedFloor 上仅达 0.368，HandoffRun 上仅 0.184，表明 LLM-LLM 协调仍是未解决的能力鸿沟。两款 Qwen3.5 模型在两款合作游戏上得分恰好为 0.000，未能完成任何共享订单或交接。

IDC 结果分析

IDC 曲线（图 5）显示所有四款模型在两款游戏上都通过多轮反思发现了超越 Round 0 基线的技能。在 LastStand 上，最佳轮增益范围从+0.54 到+0.70（+130% 到+437% 相对提升）。但峰值性能通常出现在曲线上半段而非 Round 10：两款 Opus 模型在最佳轮与最后一轮之间损失 0.40 到 0.52 的得分（图 5）。

变体迁移实验（表 5）揭示了一个关键发现：源任务增益与迁移能力可能背离。在 LastStand 上，Opus 和 Gemini 的技能收敛于 “运动最小化” 策略（如 “除非你站立的砖块变红，否则保持不动”，见附录 C），这在单砖块掉落机制下最优，但在 var2（集群砖块掉落）下崩溃。GPT-5.5 的技能编码了 “短暂移动，然后重新评估” 循环，使其在所有三种变体上保持正迁移，尽管源任务增益最小（+130%）。相反，Opus 4.7 源任务增益达+201%，但在所有三种变体上均负迁移。这种源任务增益与迁移性的解耦是变体实验的中心发现，被单轮排行榜完全隐藏。

SharedFloor 的迁移则普遍正面（16/16 正迁移），因为技能编码的是协调启发式（如分工、物品去重、避免拥挤），而非空间记忆，而变体仅改变了工作台和物品位置，保留了协调规则。

实践建议

对于在实际系统中部署 VLM 游戏智能体或自改善 AI 系统的团队，OmniGameArena 和 IDC 框架提供了几点可操作的指导：

多轮反思的价值需谨慎评估。IDC 实验明确显示，最佳性能经常出现在中间轮次，继续反思可能导致技能退化。这提示实践者应当监控完整性能曲线，在得分开始下降时触发最佳技能回滚（类似 IDC 的回滚机制），而非盲目运行固定数量的优化轮次。

源任务增益不等于泛化能力。如果您的应用场景涉及任务变体（如不同的关卡布局、机制调整），仅优化源任务得分的策略可能产生脆弱的技能，在变体上意外失效。建议将变体评估嵌入持续改进流程，特别是当习得技能倾向于 “静态安全区利用” 这类过度特化的模式时。

LLM-LLM 协调仍是瓶颈。即使最强的 VLM 在合作任务上得分也远未饱和（SharedFloor 最高 0.368，HandoffRun 最高 0.184）。对于需要多智能体协调的应用，现阶段的系统设计应为频繁的手动干预或混合人机协调预留接口，而非依赖全自动的智能体-智能体合作。

动作预算效应需纳入延迟考量。在延迟敏感的任务中（如实时反应的 MonsterShoot 或需要高吞吐量的 SoloCraft/SharedFloor），模型推理时间可能成为主要瓶颈。IDC 框架中 PDQ 与 LCRT 协议的对比（附录 A、表 8、9）表明，得分下降可能主要源于动作数量减少（预算效应），而非每动作的质量退步。对实时部署系统，应考虑异步推理流水线或预判缓存来缓解这一效应。