执行状态胶囊：面向低延迟、小批量、端侧物理 AI 服务的图绑定执行状态检查点与恢复

论文信息

标题: Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving

作者: Liang Su

发布日期: 2026-06-18

arXiv ID: 2606.20537v1

PDF 链接: 下载 PDF

背景与研究动机

现代大语言模型（LLM）服务系统，如 vLLM 的 PagedAttention 与 SGLang 的 RadixAttention，通过管理位置可寻址的 KV 缓存片段来重用已计算的前缀键值对。它们以高并发、高吞吐为目标，将 KV 缓存视为分页或基树中的内存对象，借助块表间接寻址，使得一个被捕获的 CUDA Graph 可以动态从任意物理块中读取注意力数据。这种设计天然适合多请求共享缓存的场景，但它付出的代价是：被捕获的图及其绑定的缓冲区从未构成一个自包含、可冻结的完整前向状态快照——因为真正的 KV 状态散落在外部分配器里，每步都会改变索引，且混合模型的线性注意力递归状态和卷积状态更不属于这种位置寻址的范畴。

然而，在物理人工智能（Physical-AI）服务的场景下——例如低延迟的 LLM 编码助手、语音 TTS 前端、机器人视觉-语言-动作（VLA）策略——需求发生了根本转变：

仅服务单一或少数几个交互流，并发度极低；
前缀长度极大（编码代理每次对话重复发送数十 KB 的系统提示、工具定义、项目索引等），且不同轮次或中断后需要快速恢复有效延续状态；
对时间到首令牌（TTFT）或首动作的延迟要求苛刻；
运行在资源受限的端侧 GPU 上，无法依靠大量并发请求摊销缓存。

这类场景下，vLLM/SGLang 的自动前缀缓存在设计上存在两个失配：第一，捕获图无法冻结为状态，因为它依赖可变的块表间接寻址，所以不能将整个执行状态作为一个可恢复的快照；第二，混合架构中递归状态不可位置寻址，单纯重用位置 KV 会导致状态错误。因此，论文提出了一种对立的设计点——延迟优先、小批量、端侧的物理 AI 服务系统，其核心是执行状态胶囊（Execution-State Capsules）。

FlashRT：延迟优先的运行时衬底

FlashRT 是整个系统的第一层，也是胶囊机制的前提。它是一个白盒、面向后端的运行时，其核心热路径是一条在连续静态缓冲区上捕获的计算图（在 NVIDIA 后端为单个 CUDA Graph 启动），彻底消除了块表间接寻址。与传统服务中 “计算图只封装算子，数据通过外部索引动态绑定” 的格局不同，FlashRT 将包括注意力算子在内的全部前向传播都固化到了图里，而图所绑定的缓冲区是连续且固定命名的。这一设计直接抹掉了每步的启动开销与 Python 层开销，使得单流冷执行延迟降到了极低水平。

实验数据表明，在相同的混合注意力模型（含线性注意力与全注意力）和 RTX 5090 GPU 上，FlashRT 冷 TTFT 仅为 vLLM 的 $1/2.6\sim1/2.8$ ，且延迟尾部极窄（p99 与 p50 相差不到 $0.5$ ms）。这一结果定义了针对本场景的延迟底板。

更关键的是，这一设计选择同时解决了两个问题：速度与状态可冻结性。因为所有状态都驻留在这一组静态命名缓冲区中，所以在任意 token 边界处，整个执行状态就是一个闭合的、可直接冻结的缓冲区集合——它天然就是自包含的。这直接催生了执行状态胶囊。

执行状态胶囊：图绑定边界的状态快照

胶囊将提交边界处的完整状态封装为一个可持久化的对象。对于一个混合 LLM，胶囊包含：全注意力 KV 缓存（可增长部分）、线性注意力的递归状态、卷积状态、多令牌预测（MTP）相关状态以及位置元数据等。这一缓冲区集合在提交时被一次性冻结，并可通过快照、恢复、分叉和回滚四个动词进行操作。

胶囊的核心操作成本极低：

快照与恢复仅需做一次设备端的内存拷贝（带宽绑定），数十 MB 到数百 MB 的 KV 区在亚毫秒内即可完成；
恢复后追加新 token 只需重放已捕获的图，完全避免重新对长前缀进行前向计算（计算绑定）。

由此，前缀重用从一个计算密集型重计算问题变成了带宽绑定的拷贝-重建问题。因为计算时间远大于拷贝时间，且计算随长度线性增长，而拷贝仅受带宽限制，所以前缀越长，胶囊的加速越显著。实验显示，从 $2$ k 到 $16$ k 的共享前缀，胶囊 TTFT 几乎恒定为 $51\sim57$ ms，而冷前向 TTFT 从 $200$ ms 攀升至 $1541$ ms，加速比从 $3.9\times$ 扩大到 $27\times$ ，且所有恢复路径在贪婪解码下均为 token 完全相同。

尤其值得强调的是，恢复必须包含递归状态。消融实验证明：如果仅恢复位置 KV 而丢弃（或弄脏）线性注意力的递归及卷积折叠状态，解码立即发散（首 token 即错误）；唯有胶囊的全状态恢复才能保证 token 级别的精确延续。这充分说明胶囊并非一个 “更好的 KV 缓存”，而是一个全新的管理对象——它将重用单元从 “token 寻址的 KV 片段” 提升到了 “图绑定的执行状态边界”。

合约与跨域统一

胶囊机制之上，FlashRT 定义了一套最小的 C 语言 ABI 执行合约，它只暴露三种句柄类型（缓冲区、图、计划）和一个不透明形状键，严格遵循 “提供机制，不包含策略” 的原则。胶囊动词（快照、恢复、分叉、回滚）在服务层作为策略实现，而底层合约甚至不知道 “会话” 的概念。这一设计的优雅之处在于，同一套合约可以跨越 LLM、VLA 和机器人控制三个领域：

LLM 编码代理的预热启动：将系统提示前缀快照为胶囊，每轮对话直接恢复，避免反复重算；
机器人 RL 训练的回合重置：将回合初始状态冻结为胶囊，每轮重置即恢复该状态，无需重新捕捉计算图；
规划器-执行器零拷贝切换：通过共享缓冲区传递目标，中断时只需覆盖子目标缓冲区，下一动作步立刻消费新目标，无图重建开销。

所有场景共享同一个 snapshot/restore 动词，其背后的拷贝与图重放操作完全一致。跨域统一意味着物理 AI 系统中不同模型的状态恢复被抽象为同一基本操作，极大简化了端侧控制循环的实现。

实验结果与关键发现

论文在 RTX 5090、Jetson AGX Thor（边缘端）和 DGX Spark（统一内存）上进行了详尽的单流延迟评估，并严格遵守 TTFT 测量约定（排除 MTP 投机解码、仅记录首个基本 logit token）。核心发现包括：

冷路径延迟底板：FlashRT 冷 TTFT 比 vLLM 低 $2.6\sim2.8$ 倍，并且延迟尾部稳定，满足硬实时要求。
胶囊重用远超自动前缀缓存：即便 vLLM 开启自动前缀缓存（APC）命中，胶囊 TTFT 仍低 $1.4\sim2.8$ 倍。更重要的是，当工作集（多个不同上下文）超出 APC 的保留容量时，vLLM 的回退延迟即为冷路径延迟（ $519\sim2057$ ms），而胶囊因为显式固定（pinning），始终维持极低的常量延迟。
跨设备一致性：从桌面级到边缘端，胶囊 TTFT 近乎恒定（ $\sim0.2 s$ ），冷前向加速倍数随设备计算能力变化，但机制本身与架构无关，全部在三个不同能力的设备上验证了状态精确恢复和 token 完全一致。
混合模型结构依存：实验揭示了 chunked 线性注意力重用的边界对齐条件——快照位置必须是预填充块大小的整数倍，否则会因填充边界变化导致 FP8 舍入差异，最终造成解码发散。这一发现反过来证实了精确重用必须尊重模型结构。

此外，在端到端 VLA 扩散策略测试中，胶囊恢复的动作重放达到了字节完全相同（余弦相似度 $1.0$ ），证实了执行状态冻结-恢复的精准性。

实践应用与未来展望

执行状态胶囊为延迟敏感的端侧物理 AI 服务提供了一套可工程化的机制。在实践中，它可以：

大幅降低多轮编码助手的响应延迟：将数万 token 的系统前缀冻结并固定，每次对话仅需追加少量新 token，TTFT 保持在 $50$ ms 量级；
为机器人交互提供快速回退与分叉能力：树形规划、最佳-N 采样以及中断重入均可通过简单的状态拷贝实现；
使语音助手的打断体验更流畅：恢复预热的 LLM 人格前缀只需亚毫秒级恢复，加上 TTS 首音频合成，总响应可控制在 $150$ ms 以内。

需要明确的是，胶囊不是对高吞吐服务体系的替代，而是其互补设计。它需要事先固定最大长度和形状范围（通过形状键表），因此不适合动态高变异性批处理。此外，胶囊作为二进制状态 blob，与权重、量化方案、内核版本严格对应，适合同部署的热启动或团队内共享，而非跨版本的通用缓存。

未来工作中，作者计划将胶囊集成到生产级多轮代理服务器，并在真实机器人上展开安全性与任务成功率评估；同时，与 SGLang 在相同模型上的延迟对比也将进一步完善。

总结

FlashRT 与执行状态胶囊重新定义了低延迟、端侧物理 AI 服务的管理对象：从位置寻址的 KV 碎片，提升为图绑定的自包含执行状态边界。通过同一设计选择——在连续静态缓冲区上捕获全图——既获得了单流最低延迟，又使状态在 token 边界天然可冻结、可恢复、可分叉。三个设备、多个模型领域的实验一致证明其正确性与性能优势。这一工作为未来交互式、实体化的 AI 系统提供了一个坚实的执行基础，使开发者能以更廉价、更确定的方式控制计算状态的复用，从而将更多精力放在上层策略与任务设计上。