从稀疏情节结果在线强化学习微调 VLAs 的分层优势加权

论文信息

标题: Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes

作者: Tongyan Fang, Siyuan Huang, Naiyu Fang, et al.

发布日期: 2026-06-15

PDF 链接: 下载 PDF

引言：VLA 在线微调的困境与稀疏结局的挑战

视觉-语言-动作（Vision-Language-Action, VLA）模型已展现出强大的跨任务泛化能力，但仅靠人类示教数据训练的模型在部署时仍会遭遇分布偏移（covariate shift），导致错误累积。在线强化学习（RL）微调成为必要手段——让策略从自身交互经验中学习，纠正那些在示范数据中未曾暴露的错误。然而在实际的机器人操作场景中，每个完整回合（episode）通常只能获得一个二值的结局标签（成功或失败），而策略更新却需要每个时间步的监督信号。这种稀疏结局与稠密更新需求之间的错位，构成了在线微调的核心瓶颈。

现有方法往往将二元结局压缩为单一的奖励信号或优势值，例如 Recap 使用标量奖励派生优势来筛选转移样本，或直接为所有时间步赋予相同的结局标签。这种做法将两个不同层面的转移层级信息混为一谈：可行性（viability）——当前状态是否仍有可能完成最终任务；效率（efficiency）——在可行前提下，当前动作是否朝着更快完成的方向推进。可行性可以从所有带结局标签的窗口进行学习，而效率只能从成功的轨迹中估计；更重要的是，两者在不同训练阶段的指导作用截然不同：早期失败频繁时，可行性主导学习；后期成功率提高后，效率才变得关键。单标量信号无法适应这种动态需求。

此外，真实世界的交互数据常常混合了自主策略执行和人类干预片段。当操作员中途介入纠正错误时，最终的结局是自主策略与人类共同作用的结果；如果简单地将结局标签赋予所有时间步，可能会导致将策略所犯的错误误认为值得鼓励的行为，或将人类的正确干预错误地受到惩罚。这种控制权边界上的信用泄漏问题，至今缺乏显式的处理机制。

针对上述两项挑战，论文《Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes》提出了分层优势加权行为克隆（HABC）方法，从设计层面实现了稀疏结局的结构化解构与干预感知的信用分配。

核心方法：双头评论家与状态自适应门控

HABC 的方法核心在于，用两个专用的评论家头部分别提取可行性信号与效率信号，并通过一个状态自适应门控机制将它们动态融合为每个转移样本的权重，作用于流匹配（flow matching）策略的损失函数。同时，干预感知的信用分配保证了监督信号只传递给正确的控制权限段。

双头评论家：可行性头与效率头

在 HABC 的框架下，策略观测 $s_t$ 通过一个共享骨干网络 $\phi(s)$ 得到特征，然后分叉为两个独立输出的头：

可行性头：输出一个标量 $z_v(s)$ ，并经过 sigmoid 得到可行性概率 $p_v(s) = \mathrm{sigmoid}(z_v(s))$ ，表示从状态 $s$ 出发最终能够成功的概率。它使用二元交叉熵损失，在所有由策略执行的窗口中，以回合结局 $y$ 作为监督信号进行训练。由于标签本身就是二值的，可行性头在成功率很低的早期阶段依然可以获得有意义的训练。
效率头：输出一个回归值 $\hat{V}_e(s)$ ，估计从状态 $s$ 到完成任务所需的步数（取负值，并以停止梯度方式计算一步目标）。它只在成功轨迹上训练（包括成功的策略执行窗口和成功的人类干预窗口），因为失败轨迹没有定义 “到成功的步数”。当策略逐渐成熟、多数状态都变得可行时，可行性概率趋于饱和，此时效率头成为区分快慢进度的主要信号。

两个头部的联合损失如下：

\mathcal{L}_{\mathrm{critic}}=\mathbb{E}_{\mathcal{D}^{\mathrm{lab}}_{\mathrm{auto}}}\!\bigl[\mathrm{BCE}(z_v,\,y)\bigr]+\mathbb{E}_{\mathcal{D}_{\mathrm{succ}}}\!\bigl[\mathrm{Huber}(\hat{V}_e,\,y_e)\bigr].

从评论家输出到转移权重

将两个头的输出转化为可直接用于策略损失的标量权重，需要计算一步优势。可行性优势定义为转移前后可行性 logit 的变化：

A_v = z_v(s_{t+1}) - z_v(s_t),

它反映了动作对维持任务可行性的贡献。效率优势则衡量动作是否比预期更快地向成功推进：

A_e = -1 + \hat{V}_e(s_{t+1}) - \hat{V}_e(s_t),

其中下标中的 $-1$ 来自每步的代价，与效率头训练时的统计目标一致。

HABC 的关键创新在于如何组合这两个优势。它设计了一个状态自适应门控：

g_t = 1 + \tanh\!\Bigl((1-p_v(s_t))\,A_v + p_v(s_t)\,A_e\Bigr).

当 $p_v$ 较低时，可行性优势 $A_v$ 被放大，鼓励那些将状态拉回可行轨迹的动作；当 $p_v$ 较高时，效率优势 $A_e$ 起主导作用，在已经可行的轨迹内部区分高效与冗余的转移。这种通过状态概率动态插值的方式，避免了人为设置训练阶段切换的超参数，实现了同一批次内不同状态下的自适应加权。

最终，每个在线样本的预归一化权重 $\tilde{w}_i$ 设置为成功自主样本 $g_t$ ，失败自主样本 $0$ ，示范数据和干预数据则默认 $1$ （或可选地使用 $g_t$ 进行干预重加权），再经过单位均值归一化后，得到公式 (1) 中的 $w_i$ 。

干预感知的信用分配

为处理混合控制回合中的信用泄漏问题，HABC 利用控制权限日志作为明确的归因边界。规则简洁明确：对于完全自主的回合，所有时间步均获得结局标签；对于含干预的回合，只有干预后策略执行后缀接收结局标签，干预前的策略段和干预本身均不分配结局标签。干预窗口本身仍然作为示教数据提供给策略模仿，以利用人类的纠正行为，但不将回合的成功或失败归因于这些片段。这一设计从根本上截断了跨边界的错误信用流，确保可行性头只从真正由当前策略负责的结局中学习。

实验分析与关键结果

论文在三项真实机器人双臂操作任务（笔袋拉链、纸袋立起装瓶、零食袋装物拉绳）上验证了 HABC。所有任务都涉及可变形的软物体，需要多阶段协调，且容易出现部分进度和人类干预。

在初始等预算在线微调中，HABC 在所有任务上取得了最高的成功率（铅笔袋 60%、纸袋 78%、零食袋 22%），远超仅监督微调（SFT）基线，也优于只使用可行性头的 HABC-V 变体以及基于单评论家硬阈值过滤的 Imit-Recap 基线。值得注意的是，HABC-V 单独已经超过了所有非 HABC 基线，证实软性的可行性权重比硬过滤更能有效提取稀疏结局中的监督信息。

进一步，向 HABC 中加入效率头后，成功轨迹的平均长度在所有任务上显著缩短（分别减少 55、162、32 帧），直接印证了效率信号能抑制低效的重复动作，使策略选择更直接的完成路径。

继续训练阶段，启用干预重加权（HABC+IR）后，最佳检查点的成功率进一步提升至铅笔袋 92%、纸袋 88%、零食袋 38%，相较 SFT 基线的 36%、44% 和 12% 有质的飞跃。尤其零食袋这类原本极低频成功的任务，实现了三倍以上的增长。

定性分析展示了可行性头如何泛化到未见过的物体起始位置，以及在干预段中实时追踪可行性的恢复。转移权重轨迹显示可行性头和效率头在不同事件中分工明确：可行性头对抓取成功等离散的状态变化反应强烈，而效率头则在可行区域中细腻地惩罚停滞和低效动作，两者的协同作用正是 HABC 相对单头变体取得优势的原因。

实践建议与未来方向

对于将 HABC 应用于实际机器人系统的研究者，以下几点值得关注：

干预边界的可靠检测：干预感知信用分配依赖准确的控制权限标签。实践中应当使用可靠的遥操作切换日志，确保干预段标记无误，否则会污染可行性头的训练。
逐步引入效率信号：效率头只能在成功轨迹上学习，因此在早期成功率低下时，它的指导作用几乎可以忽略。建议在可行性头稳定、成功率明显回升之后，再逐步加大效率头的影响，可通过自适应门控中的 $p_v$ 自然过渡。
数据收集策略：混合自主运行与有选择的人类干预能够同时提供可行性信号（包括失败案例）和效率信号（成功干预段），比单纯收集成功示范更有利于双头训练。在实践中，对高失败率的回合进行干预，可获得高质量纠正数据，同时又不将结局错误地归责。
多任务与跨形态扩展：当前 HABC 评估于单任务微调，未来可以将双头结构推广到多任务设定，甚至不同机器人形态下。一个自然的扩展是让可行性头与任务嵌入联合建模，使得稀疏结局的知识在任务间共享。

总结

HABC 为 VLA 策略的在线 RL 微调提供了一套优雅的解决方案，它将一个粗糙的二元结局分解为两个互补的转移层信号，并通过状态自适应门控将其融合为有针对性的行为克隆权重。干预感知的信用分配则填补了混合控制数据中监督归因的空白。实验结果表明，这种方法不仅大幅提升了复杂操作任务的成功率，还缩短了完成路径，展现了切实的工程价值。随着机器人学习从受限环境走向开放部署，如何更精细地利用每一次交互的监督信息将成为核心方法论之一，HABC 的设计范式无疑为这一方向提供了扎实的起点。