BAMI：GUI 接地中的免训练偏差缓解

论文信息

标题: BAMI: Training-Free Bias Mitigation in GUI Grounding

作者: Borui Zhang, Bo Zhang, Bo Wang, et al.

发布日期: 2026-05-07

PDF 链接: 下载 PDF

自动化图形用户界面（GUI）代理正在成为智能助手与人机交互领域的重要前沿。这些代理需要完成点击、拖拽、输入等基本操作，而这一切的起点是对界面元素的准确定位，即 GUI 视觉定位（GUI grounding）。与一般的目标检测不同，GUI 定位要求模型根据一条自然语言指令（如“点击搜索按钮”）在屏幕截图中精确标记出目标元素的位置。然而，在复杂场景下，即使是当前最先进的多模态大模型，表现也常常不尽如人意。论文《BAMI: Training-Free Bias Mitigation in GUI Grounding》正是针对这一瓶颈，提出了一种无需额外训练即可有效缓解偏差的推理框架。本文将深入解析其背后的动机、核心方法及实践价值。

研究背景与动机：复杂界面带来的双重偏差

以 ScreenSpot-Pro 为代表的 GUI 定位基准，将评估推进到高分辨率、元素密集的复杂场景。在该基准上，许多基础模型的分辨能力暴露出两大典型失效模式：一种是 精度偏差（precision bias），另一种是 歧义偏差（ambiguity bias）。精度偏差通常源于高分辨率截图带来的微小目标与细粒度定位需求，模型倾向于在正确区域附近给出粗糙的边界，却无法精确定位到目标的中心或边角。歧义偏差则来自界面中相似元素的干扰——例如多个外观相近的图标、重复的文本标签，导致模型在语义上正确但实例上错误的位置输出坐标。

现有工作大多试图通过大规模标注数据微调模型来克服这些问题，但这不仅成本高昂，还可能损害模型的通用性。论文作者则采用一种更加通用、即插即用的思路：先通过一种新的归因方法诊断偏差来源，再在推理阶段施加结构化的操作来主动消偏，整个过程完全不需要梯度更新或额外的训练数据。这为任意现成的 GUI 定位模型提供了一条快速提升性能的路径。

MPD 归因方法：揭开预测偏差的面纱

要精准施策，首先需要看清模型到底在“纠结”什么。作者为此设计了 遮蔽预测分布（Masked Prediction Distribution, MPD） 归因方法。与传统基于显著图的归因不同，MPD 直接操控输入并观察模型输出概率分布的变化，从而定位出对预测影响最大的区域。

具体而言，MPD 对输入截图施加一系列空间掩码（例如，用灰色方块覆盖部分区域），并记录模型在每种掩码下对目标位置的预测概率分布。当掩码恰好遮挡住某些关键特征时，预测分布的熵会显著增大，或者最大概率点会发生偏移。通过比较完整输入与掩码输入下的预测分布差异，MPD 可以量化每个局部区域对最终定位的信息贡献。更重要的是，MPD 能够区分两种类型的区域：

若掩码某一区域后，预测分布从集中变为分散，说明该区域提供了消除歧义的关键线索，但若分布中心本身有偏差，则表明原始预测存在 精度偏差。
若掩码某一区域后，预测分布从集中于正确的峰转移到另一个错误的峰，说明被遮挡区域中存在的某个元素在充当歧义源，反映了 歧义偏差。

图 1（论文中示意）展示了 MPD 如何在高分辨率导航栏元素上揭示出精度偏差，以及在多个相似图标群上暴露出歧义偏差。这一诊断结果为后续的方法设计提供了清晰的靶点。

BAMI：偏差感知的操作推断框架

在厘清两类偏差之后，作者提出了 偏差感知操作推断（Bias-Aware Manipulation Inference, BAMI）。BAMI 由两个关键操作组成，分别对应精度偏差和歧义偏差：由粗到细的聚焦（coarse-to-fine focus） 与 候选选择（candidate selection）。这两个操作以串行或并行的方式插入到现有模型的推理流程中，无需修改模型权重。

由粗到细的聚焦：克服精度偏差

精度偏差的根源在于高分辨率下模型的感受野与输出粒度之间的矛盾。BAMI 采用“先概览后精细”的多尺度策略来处理这一问题。当模型接收到一条定位指令时，BAMI 首先在原始分辨率上运行一次标准推理，得到一个初始预测区域。这个初始区域通常已经包含了正确的语义单元，但边界不够精确。

随后，BAMI 会以该初始预测为中心，裁剪出一个放大后的局部视图，并将裁剪区域的上下文信息（如周边的 UI 元素布局）编码成条件提示，重新输入给同一模型进行第二次推理。由于局部视图的像素密度大幅提高，模型能够利用更丰富的细节信息修正边界，达到亚像素级别的定位精度。整个过程类似于人类在点击微小按钮时自然采用的“先大致移动鼠标，再微调光标”的行为。一个技术细节是，裁剪放大时的扩展因子需要适当选择：过小会丢失必要的上下文，过大则又退化为原始分辨率的问题。

候选选择：消解歧义偏差

歧义偏差常常出现在指令所指的目标与周围元素高度相似的情形中。例如，“点击‘确认’按钮”，而界面中存在多个“确认”按钮。BAMI 的候选选择操作通过引入结构化的候选集，将原始的“无约束坐标回归”问题转化为“从有限候选中选择最佳匹配”的问题。

候选集的构建利用了 GUI 的固有结构属性：元素通常以矩形区域呈现，且具有一定的视觉和语义一致性。BAMI 首先使用一套轻量级的 UI 元素检测器（或利用模型本身已具备的目标检测能力）提取出当前屏幕中所有可能的候选矩形。然后，对于每一个候选区域，计算其与指令的语义相似度（通过文本-图像对齐分数）以及与初始预测区域的空间邻近度和视觉相似度。最后，利用一个无需训练的重排序模块，综合这些分数对候选集进行排序，输出最优的一个作为最终定位结果。这一操作实质上将语义筛选的任务从高度自由的坐标空间转移到更受约束、更可解释的候选空间，极大地抑制了由于相似元素引发的错误跳转。

两种操作的协同

由粗到细的聚焦与候选选择可以灵活组合。对于大多数界面，BAMI 推荐先执行候选选择，在粗粒度上确定正确的语义实例，然后再对选中的实例进行聚焦精细化。这种顺序可以避免因精度偏差而在错误的候选上浪费计算资源。在某些分辨率极高且元素极为密集的场景中，也可以先进行粗到细聚焦，在每个尺度上分别进行候选选择，实现多层级的修剪。由于两者均不依赖梯度或参数更新，整个 BAMI 流程可以即插即用地安装在任何黑盒模型之上。

实验验证：显著的性能提升与鲁棒性

论文在 ScreenSpot-Pro 等多个基准上进行了系统性评估。结果显示，BAMI 对多种 GUI 定位模型均带来了一致的准确率增益。以 TianXi-Action-7B 模型为例，其原本在 ScreenSpot-Pro 上的准确率为 51.9%，应用 BAMI 后提升至 57.8%，绝对提升幅度达到 5.9 个百分点。对于其他基线模型，包括通用视觉语言模型和专门针对 GUI 优化的模型，BAMI 均展现了类似的增益，证明其方法具有高度的模型无关性。

消融研究进一步揭示了每个操作独立的价值。仅使用粗到细聚焦可以单独带来约 2-3 个百分点的提升，主要归因于定位坐标的精细化；仅使用候选选择则可以带来约 3-4 个百分点的提升，主要来自语义歧义的消除。两者组合时提升幅度最大，且表现优于简单串联的效果。此外，BAMI 在各种超参数设置下均保持明显的正向增益，显示出对裁剪尺寸、候选数量、重排序权重等参数的鲁棒性，减轻了实际部署时的调参负担。

除了数值指标，论文还通过视觉案例展示了 BAMI 如何修正错误。例如，在一个包含众多小图标的工具栏中，基线模型将“画笔工具”定位到了旁边的“橡皮擦”图标上，BAMI 借助候选选择成功切换到正确图标，再由聚焦操作将边界框收紧至图标内部区域。这类定性结果生动诠释了偏差缓解的实际效果。

实践启示：构建更可靠的 GUI 代理

BAMI 的价值不仅停留在学术评估，更对产业界的 GUI 自动化代理开发具有直接的指导意义。首先，BAMI 提供了一种训练免费的模型增强范式，对于资源有限但需要处理高精度界面操作的应用（如 RPA 流程机器人、移动端测试自动化），可以直接复用现有模型并快速提升可靠性。开发者可以在推理流水线中集成 MPD 分析模块，实时评估输入界面的偏差类型，从而动态决定启用聚焦或候选选择操作，实现自适应增强。

其次，MPD 归因方法本身就可以作为一种可持续的监控工具。在生产环境中，可定期对代理的预测进行 MPD 分析，当检测到某类界面普遍引发精度偏差或歧义偏差时，可触发针对性的界面设计优化或模型微调，形成闭环反馈。

从技术演进角度看，BAMI 的两个操作也可以被固化到未来的 GUI 定位模型的设计中。例如，可以在训练目标中显式加入多尺度对齐损失或候选对比损失，使模型内生地学会抵抗精度和歧义偏差，不再依赖外部的后处理。这为下一代“偏差鲁棒”的视觉定位模型指明了方向。

总结与展望

《BAMI: Training-Free Bias Mitigation in GUI Grounding》一文通过精心设计的 MPD 归因方法，精准刻画了 GUI 定位任务中精度偏差和歧义偏差这两种核心失效模式，并据此提出了由粗到细聚焦与候选选择构成的 BAMI 框架。这种训练免费、模型无关的解决方案不仅显著提升了多种模型在复杂基准上的表现，还具备良好的可解释性和鲁棒性。

展望未来，BAMI 的思路可以进一步拓展到视频 GUI 操作中的时序定位、多步任务中的连续偏差补偿等更广泛的交互场景。同时，将 MPD 归因与 BAMI 操作自动化、学习化，使得代理能够根据实时界面状态动态调整其推理策略，将是构建完全自主、高精度的下一代 GUI 代理的重要一步。随着多模态大模型与自动化工具的深度融合，这类偏差感知的操作推断范式有望成为界面智能领域的通用基础组件。