面向稀疏回合结果在线 RL 微调 VLAs 的层次化优势加权

论文信息

标题: Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes

作者: Tongyan Fang, Siyuan Huang, Naiyu Fang, et al.

发布日期: 2026-06-15

arXiv ID: 2606.17043v1

PDF 链接: 下载 PDF

3 分钟速览

• 研究问题：视觉-语言-动作模型在线微调时，每个回合仅产生单一成功/失败标签，但策略更新需要逐帧信号。现有方法将稀疏结果压缩为单一标量奖励，混淆了可行性（能否完成任务）与效率（完成任务有多快）两种不同反馈，且在人类干预混合的执行片段中存在信用分配错误。
• 核心方法：提出层级化优势加权行为克隆（HABC），训练双头评论家分别估计状态可行性和效率，通过状态自适应门控将两者的优势值融合为逐帧权重，并采用干预感知的信用分配，仅对策略自主执行片段赋予结果标签。
• 关键结果：在三个接触密集的双臂操纵任务上，HABC 将监督微调基线的成功率从 36%、44%、12% 分别提升至 92%、88%、38%。
• 主要局限：干预感知信用分配依赖可靠的干预边界检测；效率头仅在成功轨迹上训练，在成功率低时信号最弱；当前仅评估单任务微调场景。
• 适合读者：从事机器人操纵、视觉-语言-动作模型训练、离线到在线强化学习微调，以及对稀疏奖励信用分配问题感兴趣的研究者和工程师。

论文背景和研究动机

预训练的视觉-语言-动作（VLA）策略在多样化操纵任务上展现了强大的泛化能力，但单纯依赖示范数据难以保证可靠部署。监督微调受限于示范覆盖范围，协变量偏移导致部署时误差累积。为了纠正策略实际犯下的错误、提升超出遥操作水平的鲁棒性，在线强化学习微调成为必要手段——策略必须从自身经验中学习。

然而在实践中，每个执行回合仅产生一个二元结果标签（成功或失败），而有效的策略更新需要为每一帧动作提供监督信号。论文观察到，这个稀疏标签实际上编码了两层可分离的过渡级信息：可行性——当前状态是否仍能导向任务完成；效率——在成功可达成的前提下，当前动作是推进进度还是浪费时间。可行性可通过所有标记结果的数据窗口进行监督，而效率仅能从成功轨迹中估计。两者在训练的不同阶段分别起主导作用：早期失败频繁时可行性信号至关重要，后期成功率上升后效率信号变得更有价值。

现有方法如 Recap 将两者压缩为单一奖励派生的优势值，评论家过滤的行为克隆则硬性选择 TD 优势超过阈值的过渡帧——两者都丢失了关键的信号结构。

另一个核心挑战来自混合控制回合的数据质量问题。当人类在任务执行中途介入时，最终结果同时反映策略执行和人类干预的效果。若将结果标签简单分配给所有时间步，会错误地提升那些触发干预的错误动作权重，或惩罚人类的修正行为。论文指出，将结果标签限制在策略自主执行片段，可在利用人类修正动作作为模仿数据的同时，避免跨控制权边界的监督泄露。

核心方法和技术细节

HABC 的核心设计包含三个紧密耦合的组件。

双头评论家结构

在共享视觉编码器 $\phi(s)$ 之上，HABC 训练两个专用输出头：可行性头 $V_v$ 估计状态 $s$ 的可行性 $P(\text{success}\mid s)$，即当前策略下最终能成功的概率，以二元交叉熵损失在全部标记的策略执行窗口上训练；效率头 $V_e$ 估计从当前状态到达成功所需的步数，仅在成功轨迹上训练，每步代价为 $-1$，终点目标为 $0$，使用 Huber 损失回归。

两个头的训练数据不同：$V_v$ 使用所有含结果标签的策略执行窗口（含成功和失败），$V_e$ 仅使用成功窗口（含策略成功窗口和干预成功窗口），成功率低时仍有数据来源。联合评论家损失为：

$$\mathcal{L}_{\mathrm{critic}}=\mathbb{E}_{\mathcal{D}^{\mathrm{lab}}_{\mathrm{auto}}}\!\bigl[\mathrm{BCE}(z_{v},\,y)\bigr]+\mathbb{E}_{\mathcal{D}_{\mathrm{succ}}}\!\bigl[\mathrm{Huber}(\hat{V}_{e},\,y_{e})\bigr]$$

状态自适应门控与优势加权

HABC 分别计算两种一步优势值。可行性优势度量动作对可行性的改善：$A_v = z_v(s_{t+1})-z_v(s_t)$，在对数空间计算以保留高成功率附近的区分度。效率优势度量动作是否加快完成任务：$A_e = -1+\hat{V}_e(s_{t+1})-\hat{V}_e(s_t)$，正值表示进度快于预期，负值表示慢于预期。

状态自适应门控 $g_t$ 按当前状态的可行性估计动态融合两者：

$$g_t=1+\tanh\!\Bigl(\bigl(1-p_v(s_t)\bigr)\,A_v+\,p_v(s_t)\,A_e\Bigr)$$

当 $p_v$ 较低时，门控赋予 $A_v$ 更高权重，使策略能从失败中区分可行状态与死锁状态；当 $p_v$ 较高时，门控切换至 $A_e$，在已达可行的轨迹内按效率对动作进行排序。这种逐状态插值使得同一批次内低可行状态的权重由可行性改善驱动，高可行状态的权重由效率改善驱动。

干预感知的信用分配

HABC 将每个回合按控制权来源分割为片段。对于纯自主回合，整条轨迹接受结果标签。对于含一次或多次干预的回合，仅最终干预后的策略执行后缀片段接受结果标签——此前的策略执行片段导向了需要修正的状态，干预片段反映的是人类决策而非策略决策。干预窗口始终不标记结果，而是同时服务于两个目的：作为演员的模仿监督，以及作为 $V_e$ 的进度目标。

预归一化权重按数据来源设置：成功在线样本为重 $g_t$，失败在线样本为 $0$，监督微调和干预样本为 $1$（启用干预重加权后干预样本也使用 $g_t$）。最终归一化权重通过均值归一化获得，解耦了权重分布与有效学习率。

创新点和贡献

本工作的核心创新在于将稀疏二元回合结果分解为两个可分别学习、按状态自适应融合的过渡级信号，并建立了一套完整的信用分配机制来处理混合控制片段的问题。

层级化信号分解：论文首次明确了一个看似简单的观察——二元成功/失败标签内含可行性和效率两层独立信息，且两者的监督数据来源和训练阶段主导性不同。这一分解超出了 “将奖励转化为优势值” 的传统范式，将事后结果标签转化为一种具有时序结构的批评信号。

双头评论家与软加权：与 Recap 等方法的硬阈值过滤不同，HABC 通过软加权避免了滤除信息的有用部分。可行性头和效率头各自处理 “能否成功” 和 “成功得有多快” 两个独立优化目标，门控机制实现了权重空间的平滑过渡而非二值选择，这在成功率大幅变化的在线微调过程中尤为关键。

信用分配的权威边界：HABC 不使用启发式推断来猜测混合控制回合中结果的归属，而是以控制权变化这一已知信息作为信用分配的边界。这带来了双重收益：一方面防止了触发干预的错误动作被错误提升权重，另一方面将人类修正片段同时用作模仿学习数据和效率目标的参考轨迹（见论文附录 C 及图 7）。

实验结果分析

定量结果（图 3）

在铅笔袋、纸袋、零食袋三个任务上，经过等量在线微调预算（3 轮，每轮 100 个自主回合）后，HABC 在全部三项任务上达到最高成功率——铅笔袋 60%、纸袋 78%、零食袋 22%。仅保留可行性的变体 HABC-V 已优于所有非 HABC 基线，说明软可行性加权比硬阈值过滤能从稀疏结果中提取更多监督信息。

轨迹长度方面，从 HABC-V 升级到完整 HABC 在三个任务上分别缩短了 55、162、32 帧（仅统计成功试验），表明效率头确实降低了对低效运动的权重，使策略偏向更直接的完成任务路径。

在额外多轮 HABC+IR 训练后，最佳检查点的成功率进一步攀升至 92%、88%、38%——相比监督微调基线的 36%、44%、12%，提升幅度分别为 2.56 倍、2 倍、3.17 倍。

定性分析与批评泛化能力（图 4 及图 5）

可行性头展现了对训练标签分布之外的泛化。以铅笔袋任务为例，论文将可行区域定义为 $p_v>0.6$ 的初始笔袋中心位置集合。随着在线微调推进，该区域逐步扩大，表明可行性头对观测分布外的初始布置也能给出高可行性估计（图 4 左）。单条执行轨迹的可行性概率曲线进一步表明，$p_v$ 在策略误抓物体后急剧下降，在人类干预恢复过程中逐步回升，验证了 $A_v$ 能实时追踪跨控制权限片段的可行性变化（图 4 右）。

逐帧权重分析揭示了两个头的分工模式（图 5）。成功抓取阶段，$p_v$ 急升驱动 $A_v$ 分支将动作权重推高；低效重复抓取阶段，$p_v$ 稳定于高位但 $V_e$ 指示进度停滞，$A_e$ 转为负值拉低权重；恢复阶段，两个信号同时改善，权重通过双分支上升。这种互补性解释了为何 HABC 相较于 HABC-V 能实现轨迹缩短。

恢复行为（图 6）

在三个代表性失败-恢复场景中，监督微调策略或重复失败动或陷入不可恢复的循环，而 HABC 训练的策略能检测到错误状态并执行修正动作以重建任务进程，表明可行性权重赋予恢复动作更高学习优先级的机制在部署时转化为可观测的纠错能力。

实践建议

对于计划将 HABC 或类似方法部署到真实机器人系统的团队，以下建议来自论文的方法特征和实验约束。

分阶段启用信号：论文采用 500 步预热期，期间门控权重 $g_t$ 恒为 1，等待评论家头达到最低校准水平再开始加权。实践者可参考此策略，在可行性头训练损失趋于稳定后再激活门控，避免噪声信号污染早期学习。干预重加权应在可行性头已从标记的策略执行窗口中积累足够训练后启用（论文将其作为第二阶段的可选项）。

干预数据的收集策略：论文在每轮收集 100 个自主回合，其中约一半的失败回合包含人类干预。这一收集密度是信用分配机制有效运作的前提——若无足够干预片段中的效率目标数据，$V_e$ 的训练将更加稀疏。当人工干预成本较高时，可考虑仅对最具教学价值的失败案例进行干预（如遇不可恢复的状态），而非按固定比例。

日志控制权的精确记录：HABC 的信用分配假设干预边界可被可靠检测。在系统实现层面，这要求控制器模式切换（自主/人工）带有时间戳并写入轨迹数据，精度至少达到单步级。若系统延迟导致边界记录误差，将直接污染 $V_v$ 的监督信号，破坏可行性头的准确性。

任务类型的适用性：论文在三个接触密集的双臂操纵任务上验证，特征为多阶段、可部分推进、常见干预。对于原子化、成功率极高或极低、缺乏中间里程碑的任务，效率信号可能在整个训练过程中都难以获取，可行性信号也将近似为常数，门控的适配价值相应降低。实践者应首先评估任务是否具有 “阶段式推进” 的结构，再决定是否引入双头评论家。