共享自主范式中的信念与策略端到端优化

End-to-end Optimization of Belief and Policy Learning in Shared Autonomy Paradigms

arXiv: 2601.23285v1

论文信息

标题: End-to-end Optimization of Belief and Policy Learning in Shared Autonomy Paradigms

作者: MH Farhadi, Ali Rabiee, Sima Ghafoori, et al.

发布日期: 2026-01-30

arXiv ID: 2601.23285v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：在共享自主控制中，如何端到端地联合优化意图推断与辅助控制策略，以解决传统方法中意图推断与辅助仲裁分离导致的性能次优问题，尤其是在目标模糊和环境约束复杂的非结构化场景下。
  • 核心方法：提出了 BRACE（Bayesian Reinforcement Assistance with Context Encoding）框架。该框架将贝叶斯意图推断模块与基于 Actor-Critic 的辅助仲裁策略进行端到端耦合，使用完整的意图概率分布而非仅最大后验估计来条件化控制策略，并通过联合优化使得控制性能的梯度能够反向塑造意图推断。
  • 关键结果：在包含 12 名参与者的 2D 光标控制实验中，BRACE 相较于无辅助控制，成功率提升 36.3%，路径效率提升 87%；相较于最先进的基线方法，成功率提升 6.3%，路径效率提升 41%（见表 3）。
  • 主要局限：系统的性能受限于预先训练好的专家策略的质量，且目前实验主要在模拟或简化的任务环境中进行验证，在真实世界复杂、高维连续任务中的可扩展性尚待探索，作者也指出来能进行长期的用户个性化适应。（见论文第 5.1 节）。
  • 适合读者：对人机交互、共享自主、辅助机器人技术以及端到端强化学习与贝叶斯推断结合感兴趣的工程师和研究人员。

论文背景和研究动机

共享自主系统（Shared Autonomy）的核心挑战在于如何优雅地平衡两个关键过程：推断用户的真实意图和决定何时提供何种程度的自动辅助。传统的解决方案通常将这一过程视为一个流水线：先估计用户意图，再根据估计结果施加一个固定的或基于规则的辅助强度。例如，早期的方法使用固定的混合比例来融合人类与自主控制信号，而不考虑环境或意图的不确定性。另一些方法则将这两个问题分开解决，例如 Javdani et al. 将问题建模为部分可观察马尔可夫决策过程（POMDP），但需要复杂的近似和已知模型。

这种 “先推断，后控制” 的分离范式导致了明显的性能瓶颈。当系统对用户目标非常不确定时（例如，用户可能去往多个相似目标中的一个），一个仅基于最可能目标（MAP）的辅助策略可能提供错误方向的引导，反而降低任务效率。这意味着，推断模块的 “统计准确性” 和控制模块的 “任务最优性” 之间存在一个不匹配的鸿沟。论文的核心动机正是为了弥合这一鸿沟，作者认为辅助决策不仅应基于推断的结果，推断过程本身也应被下游的控制任务表现所优化，形成一个端到端的闭环。

核心方法和技术细节

BRACE 框架通过一个端到端的神经网络架构，从原则上解决了推断与控制的分离问题。其核心思想在于，辅助混合参数 γ\gamma 不是由孤立模块产生，而是由一个策略网络根据完整的状态信息生成，即 γ=fθ(s,b,c)\gamma = f_\theta(s, b, c)，其中 ss 为环境状态，bb 为所有潜在目标的完整概率分布（意图信念），cc 为环境约束（如障碍物距离）。

架构上，BRACE 包含两个关键模块（见图 2）：

  1. 贝叶斯推断模块：一个递归贝叶斯滤波器，根据人类的带噪声控制输入 HH 和系统状态轨迹 XX，不断更新对 NN 个潜在目标的信念状态 bt(g)b_t(g)。其似然函数将人类建模为一个有理性噪声的智能体，倾向于向目标移动，具体是通过一个结合了角度偏差和距离偏差的成本函数来实现的（公式 3-5）。
  2. 辅助仲裁策略模块：一个基于 PPO 的 Actor-Critic 网络。该网络接收一个 10 维输入向量，包含当前状态、人类输入、目标位置以及环境距离信息，特别是包含了由推断模块计算出的完整信念向量 bb。Actor 网络输出一个连续的混合参数 γ∈[0,1]\gamma \in [0, 1]，Critic 网络则估计状态价值。

BRACE 的核心技术突破在于其联合端到端训练。在标准训练中，贝叶斯推断模块的参数是预先标定且冻结的。而在 BRACE 的端到端训练中，来自 PPO 策略的损失梯度会通过 REINFORCE 算法流回贝叶斯推断模块（公式 37），从而微调其内部参数。这意味着推断模块不仅被训练来准确预测目标，还被塑造成输出对下游控制策略最有用的信念分布。例如，在一个狭窄通道中，即使推断模块确信用户目标是 A，但为了安全，策略可能需要更保守的辅助。联合训练能自动调整推断模块，使其在类似情境下表达更多 “有用的不确定性”，从而引导策略更平滑地介入。

该方法还得到了理论支撑。论文的定理 1证明，最优辅助等级 γ∗\gamma^* 应随着意图不确定性（信念熵 H(b)H(b)）的增加而减小，并随着环境约束严重程度的增加而增大。定理 2则证明，与仅使用最大后验估计（MAP）的顺序方法相比，基于完整信念的条件化策略拥有二次方级的期望后悔（regret）优势，尤其是在不同目标需要截然不同的辅助策略时，这一优势最为明显（证明见论文附录 A）。

创新点和贡献

BRACE 相对于先前工作，做出了以下三个层面的核心贡献：

1. 从 MAP 到完整信念分布的范式转变 过往的信念感知方法（如 SARI, IDA, STREAMS）或仅使用 MAP 估计，或将介入简化为二值信号。BRACE 首次在共享自主框架内，明确将辅助策略 γ\gamma 设计为完整信念向量的函数。这使得策略能够感知并利用信念的多模态结构和不确定性程度，实现了更精细的辅助调制。例如，当系统在三个可能目标间二比一犹豫时，策略不会像 MAP 方法那样强行选择多数目标，而是会根据所有目标的空间布局和风险，采取一个折衷的辅助动作。

2. 推断与控制的端到端联合优化 这是 BRACE 最重大的方法论贡献。它打破了传统流水线中 “推断固定->控制最优” 的模式，通过端到端梯度流动，使得推断模块能根据控制任务的表现进行自适应调整。论文中的消融实验证实了这一设计的必要性（见表 5）：使用预训练且冻结的信念模块，任务成功率仅为 81.5%，而采用从零开始的联合训练提升至 90.7%，若使用预训练加联合微调，成功率更是提升至 94.9%。这证明联合优化能够学习到对控制更 “有用” 的信念表征，而非仅仅是 “准确” 的信念。

3. 理论优势的严格证明 论文提供了严谨的数学分析，证明了在目标不确定和环境受限的交互下，信念条件化策略相对于顺序方法的后悔优势（见附录 A）。这不仅为 BRACE 的有效性提供了理论保证，也为分析此类人机交互问题提供了新的视角和工具。这个优势随着目标间最优辅助策略差异的增大而呈平方级增长，精确地定义了 BRACE 最适用的场景。

实验结果分析

论文设计了一个循序渐进的三部分评估实验，系统地验证了 BRACE 在不同维度的性能：

  1. 2D 光标控制（人机互动挑战）：这是与 12 名真实用户进行的在环实验。结果显示，BRACE 在所有指标上均显著优于无辅助控制、DQN、IDA 以及用户自主调节 γ\gamma 等基线方法（表 3）。特别地，时空动态的可视化（图 5）清晰地观察到，BRACE 的辅助强度从运动初期（高不确定性）的低水平，平滑地增长到接近目标或通过狭窄区域时的高水平，完美印证了定理 1 的理论预测。主观评价方面，BRACE 在降低挫败感和提升控制信心上取得了最佳平衡（图 6）。

  2. Reacher-2D（物理动力学挑战）：该实验旨在测试非线性机器人臂动力学和高频控制噪声下的框架鲁棒性。结果表明，BRACE（每分钟完成 4.8 个目标）相比 IDA（3.7 个）和无辅助（2.4 个）有显著提升（图 7）。这证明了平滑的连续混合策略在抑制高频噪声方面，比 IDA 的二元介入策略更有效、更稳定。

  3. Fetch Pick-and-Place（综合 3D 任务挑战）：这是一个集成了目标模糊和局部安全约束的高维操作任务。BRACE 以 86% 的成功率大幅领先于 DQN（74%）和 IDA（68%）（表 4）。轨迹分析表明，IDA 的二元切换导致路径犹豫，而 BRACE 的信念条件化策略引导生成了更平滑、直接的路径（图 8）。特别值得注意的是，其辅助水平在 “抓取” 和 “放置” 这两个高约束阶段达到峰值，而在目标不明时保持低位，展现了精密的上下文感知能力。

这些实验不仅证明了 BRACE 在性能指标上的优越性，更关键的是，它们共同验证了 BRACE 为何有效：其性能优势在最复杂、目标最模糊的场景下最为明显，这正是理论所预测的、信念条件化的价值所在。

实践建议

BRACE 提出的端到端信念条件化控制思想，对于设计和开发人机协作系统具有直接的指导意义：

  • 转向端到端联合设计：不要孤立地开发感知/意图推断模块和控制/规划模块。在资源允许的情况下，为整个系统设定一个统一的任务目标（如成功率、时间效率），并允许梯度信号贯穿模块边界，对两个模块进行联合微调。这能确保感知模块输出的是对决策 “有用” 的信息，而非仅在统计上 “准确” 的信息。
  • 以完整性取代确定性作为决策依据：在辅助决策系统中，避免过早地将概率分布坍缩成一个单一的点估计（如 MAP）。尽可能将意图推断的完整分布或至少是其主要统计量（如熵）作为控制策略的输入。这能让系统在决策时 “知晓” 自己的不确定性，从而在意图模糊时采取保守、可回退的策略，以保护用户的控制感（agency）。
  • 动态辅助需响应不确定性与环境约束：设计的辅助逻辑应遵循两大原则：1）辅助强度应与意图不确定性成反比，意图越模糊，越多地让人类主导；2）辅助强度应与环境约束紧急性成正比，在狭窄或危险区域，即使意图不完全明确，也应主动介入以避免灾难性后果。这可以通过将信念熵和障碍物距离等特征显式地输入到策略网络中来学习。
  • 重视策略的平滑性与可预测性：实验证明，连续的辅助混合参数 γ\gamma 在物理类人机交互和用户心理感受上都优于二元切换（如 IDA）。因此，在设计仲裁函数时，应优先考虑输出为一个连续值的平滑控制器，这不仅能有效滤除用户输入的噪声，也能创造更可预测的人机协作体验，建立用户信任。

遵循这些原则，开发者可以构建出更能与人类协同工作、更尊重用户意图、同时在关键情境下又能提供有力保障的共享自主系统。