BAMI：GUI 基础中无需训练的偏差缓解

BAMI: Training-Free Bias Mitigation in GUI Grounding

arXiv: 2605.06664v1

论文信息

标题: BAMI: Training-Free Bias Mitigation in GUI Grounding

作者: Borui Zhang, Bo Zhang, Bo Wang, et al.

发布日期: 2026-05-07

arXiv ID: 2605.06664v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：这篇论文要解决 GUI（图形用户界面）定位任务中，多模态大模型在复杂高分辨率界面上的定位精度不足问题，特别是在不重新训练模型的前提下如何显著提升性能。
  • 核心方法：提出 BAMI（Bias-Aware Manipulation Inference），一种无需训练的推理时优化方法。通过层次化裁剪（coarse-to-fine focus）纠正精度偏差，通过候选框选择（candidate selection）纠正模糊性偏差。
  • 关键结果：在极具挑战性的 ScreenSpot-Pro 基准上，将 TianXi-Action-7B 模型的准确率从 51.9% 提升至 57.8%，且该方法对多种主干模型普遍有效（表 2、表 3）。
  • 主要局限：方法依赖额外的校正模型（在线 API 或本地模型）进行候选框选择，引入了外部依赖；当裁剪比例过于激进（低于 40%）时可能丢失关键上下文信息；迭代次数超过 2 次后提升趋于饱和（图 6a）。
  • 适合读者：对 GUI Agent、多模态大模型落地应用、以及推理时优化（test-time adaptation）感兴趣的研究者和工程师。

论文背景和研究动机

多模态大语言模型的快速发展使 GUI Agent（图形界面智能体）具备了在桌面和移动平台上自动执行任务的能力。这类 Agent 的核心能力之一是 GUI 定位：给定自然语言指令和截屏图像，精确输出目标元素的坐标位置，从而支持后续的点击、拖动等原子操作。

然而，相比自然图像任务，GUI 场景具有两大特殊挑战：极高的分辨率和密集的界面元素。例如，在涵盖多个领域专业软件的 ScreenSpot-Pro 基准上，大多数主流定位模型的准确率低于 50%。这意味着，即便模型具备了识别目标的能力，其实际定位表现仍远未达到可用水平。

本文从一个关键问题出发：能否在不重新训练模型的前提下，仅通过优化推理过程来释放模型的定位潜力？ 为了系统回答这一问题，作者首先设计了错误归因分析方法 MPD（Masked Prediction Distribution），对 50 个错误样本进行统计分析。结果显示，约 14% 的错误源于知识缺陷（模型根本不认识目标），而高达 74% 的错误源于归纳偏差——模型认出了目标，但在输出坐标时产生了系统性偏差。这一发现揭示了一个未被充分利用的优化空间：通过修正推理机制，就有望大幅提升性能。

核心方法和技术细节

MPD 错误归因方法

传统的梯度归因方法（如 GradCAM）难以直接应用于 “从文本输出中解析坐标” 这一离散过程。Shapley 值虽然理论上可行，但对高分辨率 GUI 截图的单样本计算耗时约 10 小时，不切实际。为此，作者提出了 Masked Prediction Distribution 方法：随机遮挡截屏的部分区域，让模型重复预测，统计预测点在空间中的分布热力。密集聚集的区域代表模型的高置信度关注区域。通过分析这些热力图，可以清晰辨识错误的根源是知识缺陷还是归纳偏差（图 4）。

两种关键偏差的形式化分析

论文识别出两类主要的归纳偏差：

精度偏差：多模态模型将坐标值（如 789）拆分为独立的数字 token（<7>, <8>, <9>），其最大精度被限制在个位数像素级别。这导致预测坐标存在系统性偏移。

模糊性偏差：模型的交叉熵训练目标优化的是 token 序列的编辑距离，而非实际空间中的欧氏距离。考虑两个候选坐标 x′=189 和 x′′=801，真实坐标 x=789。在编辑距离上 x′ 更优（仅需改<1>为<7>，距离为 1），但在欧氏距离上 x′′ 更接近（差 12 像素 vs 600 像素）。这种度量不一致造成了系统性选择偏差。

BAMI：偏差感知的操作推理

针对上述偏差，BAMI 设计了两种核心操作（图 2、图 5）：

1. 粗到细聚焦（Coarse-to-Fine Focus）：将单步定位转变为层次化迭代过程。首先获得粗略定位坐标，然后以该坐标为中心、按预设比例 λ 裁剪图像，将裁剪区域重新输入模型进行精细定位。这一过程可以迭代多次，逐步缩小搜索空间、提高坐标分辨率。实验表明，2 次迭代配合 50%~70% 的裁剪比例最为有效。

2. 候选选择（Candidate Selection）：针对模糊性偏差，采用掩码预测策略生成多个互斥的候选框。在每轮预测前，将已预测框内的像素随机掩码，迫使模型关注不同区域，从而产生多样化的候选。然后利用外部校正模型从候选中重排序，注入 GUI 先验知识（如 “优先选择交互元素而非静态文本”）。

校正模型的 Prompt 设计是关键。简单的 prompt 无法有效修正模型选择偏好，BAMI 引入了两条关键结构：思维链（让校正模型逐步分析）和关键原则（注入欧氏空间优先级先验）。消融实验证实，同时使用这两者可达到最佳效果（表 4）。

创新点和贡献

本文有四方面主要贡献：

  1. 系统化的错误诊断框架：提出 MPD 方法，首次量化了 GUI 定位中知识缺陷与归纳偏差的相对占比，为后续优化指明了方向。

  2. 精度偏差的推理时修正：通过层次化裁剪将单步定位重构为多步递进搜索，在不改变模型参数的前提下有效提升了小目标和复杂界面的定位精度。

  3. 模糊性偏差的外部校正机制：揭示了编辑距离与欧氏距离的根本冲突，并提出通过外部校正模型注入几何先验的解决方案。这一思想不仅适用于 GUI 定位，对一般性的坐标回归任务也有启发意义。

  4. 训练无关的通用提升方法：BAMI 可直接应用于多种开放主干模型（OS-Atlas、UI-TARS、TianXi-Action），在多个基准（ScreenSpot-Pro、ScreenSpot-V2）上持续提升性能。应用 BAMI 后的 TianXi-Action-7B 达到 57.8%，超过同期测试时方法的最高水平（表 2）。

实验结果分析

主实验对比（表 2、表 3）

在 ScreenSpot-Pro 上，BAMI-7B 以 57.8% 的准确率，显著超越了此前的最佳测试时方法 DiMo-GUI（49.7%）和 GUI-RC（41.2%）。跨模型的提升同样稳定：OS-Atlas-7B 从 18.9% 提升至 41.6%（+22.7 个百分点），UI-TARS-1.5-7B 从 40.8% 提升至 51.9%（+11.1 个百分点）（表 3）。在较为简单的 ScreenSpot-V2 上，提升幅度较小（约 1 个百分点），因为基线模型本身已达到 80% 以上的准确率。

消融实验

裁剪比例与迭代次数（图 6a）：裁剪比例低于 40% 时性能下降（可能丢失关键上下文），迭代超过 2 次提升趋缓。

目标类型分析（图 6b）：BAMI 对文本和图标类目标均有改善，无选择性偏好，表明方法具有通用性。

校正模型选择（表 5）：GPT-5 和 Gemini-2.5-Pro 表现最佳（57.2%~57.8%），本地训练的 Qwen3-VL-8B 也达到 56.2%，证明方法不必然依赖大规模外部模型。

实践建议

1. 集成 BAMI 到现有 GUI Agent 系统

BAMI 可与任何基于坐标输出的定位模型无缝集成。具体步骤：

  • 将原始模型作为粗定位器，设置裁剪比例 λ=0.5~0.7，迭代次数 N=2
  • 在每轮迭代中生成 2~3 个候选框（通过掩码预测确保多样性）
  • 部署校正模型（优先选择同参数规模下的本地模型，如 Qwen3-VL-8B）进行候选重排序

2. 校正模型的自适应选择

  • 高隐私/低延迟场景：使用本地 LoRA 微调的 Qwen3-VL-8B（训练数据约 128K 样本，约 12 小时训练时间）
  • 追求极致性能：调用 GPT-5 或 Gemini-2.5-Pro 在线 API
  • 论文指出，即使使用本地同规模模型，仍可保留大部分性能提升（56.2% vs 57.8%）

3. 自定义 Prompt 调优

校正 Prompt 的设计直接影响模型选择偏好。建议参考论文附录 C.1 的 Key Principles 部分，根据实际 GUI 场景调整优先级规则（如 “优先选择包含图标+文本组合的元素”、“避免选择不完整元素”）。

4. 超参数权衡

  • 提高裁剪比例可提升定位精度，但需注意不要切掉关键上下文（建议不低于 40%）
  • 增加候选框数量可提升选择多样性，但会增加推理开销（论文使用 2~3 个候选）
  • 复杂界面可适当增加迭代次数，但超过 2 次收益递减

5. 性能预估

在专业软件截图（开发工具、CAD、科学计算等）场景下，BAMI 预计可带来 5~22 个百分点的绝对提升（取决于主干模型基线水平）。越难的任务，增益越大。