今日概览

今天值得关注的材料不多，但三条工程线索指向同一个变化：推理系统正在从只管理模型张量，走向同时管理可恢复、可迁移、可验证的执行状态。 本期没有发现近 24 小时内足够重要、且尚未在本站重复介绍的新系统论文，因此不使用旧论文补量，主体采用近期仍有实质更新的一手 RFC、工程路线图与官方技术发布。

第一，vLLM 的 R3 与 prefill/decode disaggregation（PD）结合暴露出比 KV 传输更细的问题：decode 节点可能同时持有本地缓存、从 prefill 节点加载的 KV 和本轮新计算的 KV，而相同 prefix hash 并不能证明这些 KV 对应相同执行路由。第二，vLLM-Omni 的 World Model Realtime Inference 路线图继续推进 step execution、compiled K/V correctness 与 interaction framework，说明实时世界模型需要新的持续执行语义。第三，OpenAI 9 月 10 日发布 GPT-Live-1 API，把低延迟全双工语音交互放在前端模型，同时允许把复杂推理和工具调用委托给后端文本模型。

重点进展

核心论文与技术报告

1. vLLM R3 + PD：需要迁移的不只是 KV，还包括执行路由

新增点。 vLLM 的 R3 support for prefill/decode disaggregation RFC 在 9 月进入持续讨论，材料记录了截至 9 月 6 日的实现与相关 PR 状态。它不是稳定发布特性，而是在定义原生 R3 与 KV Connector 共存时的状态语义。

解决的问题。 在普通 PD 中，prefill 节点计算 KV，decode 节点接收后继续生成。R3 进一步需要捕获和重放执行路由。decode 节点的逻辑前缀可能由多种来源拼成：一部分来自本地旧缓存，一部分从 prefill 节点加载，最后一小段由 decode 节点自己计算。RFC 明确指出，prefix hash 相同不足以证明两次执行选择了完全相同的 routes；block reuse、异步输出、partial block 和传输失败都会影响记录何时有效以及何时可以释放。

核心机制。 RFC 倾向于让 worker 按 block key 持有和查找路由记录，并在 PD 场景中根据 KV source 选择对应记录，而不是恢复旧的 scheduler-side slot store。对于来自 prefill 的 KV，方案讨论使用 NIXL 携带对应 route data；对于 decode 本地已有或新计算的区间，则保留各自匹配的记录。关键抽象不是“再传一份 metadata”，而是把 KV 数据与生成它的执行轨迹绑定为一致性单元。

证据与限制。 当前材料主要是 RFC、实现状态和相关 PR 对比，没有给出可用于横向比较的端到端性能数字，因此不能描述为已验证的性能优化。其当前价值首先是正确性。方案仍处于 RFC 阶段，并与多个已有 PR、router 侧合并方案和后续 storage interface 工作存在依赖。

为什么重要。 过去 PD 常把状态迁移近似为 KV transfer；R3 暴露出更一般的问题：随着条件路由、可重放执行等机制进入 serving，缓存身份可能需要从“token/hash 对应的张量”扩展为“张量 + 产生该张量的执行语义”。

2. vLLM-Omni：实时世界模型开始形成独立运行时问题

vLLM-Omni 的 World Model Realtime Inference Continuous Development Roadmap 截至 2026 年 9 月 14 日仍有状态更新，并明确区分“PR 已合并”和“完整性能/服务验收已通过”。9 月 7 日，路线图中的 step execution、compiled K/V correctness 和 generic interaction framework 已有对应实现合入；camera interaction 仍是后续工作。

这里的重点不是单个 kernel，而是运行时对象发生变化。传统文本生成通常把 request 看成 prompt 加连续 decode token，而实时世界模型面对持续到来的环境输入、交互事件和模型内部逐步演化的状态。step execution 因此需要成为一等执行单位；编译优化不仅要验证输出数值，还要验证跨 step 的 K/V 或其他持久状态；interaction framework 则意味着外部事件可以在生成过程中改变后续执行。

路线图多个里程碑仍标为 partial，部分功能虽然实现 PR 已合并，但集成和性能验收尚未完成。因此目前更合理的结论是：实时多模态/世界模型 serving 正从模型 demo 转向运行时工程化，而不是已经形成稳定统一的 serving 架构。

开源项目的重要新闻

vLLM 本期最值得关注的不是普通模型适配，而是 R3+PD RFC。它影响 KV Connector 与 worker-side state storage 的交界面，当前状态为 RFC/讨论中。未来 connector 的职责可能不再局限于搬运 KV tensor，还需要处理与缓存内容强绑定的执行元数据、完整性检查和生命周期释放。

vLLM-Omni 则继续从单点实时功能走向交互闭环。其路线涉及实时输入进入、逐步模型执行、跨步状态保持以及交互事件注入；当前仍应视为持续开发路线，而非稳定实时 serving 产品。

前沿概念和技术：全双工 Agent 的分层运行时

OpenAI 在 9 月 10 日发布的 GPT-Live-1 API 提供了另一种状态分层。官方说明中，GPT-Live-1 在单一前端模型中联合处理输入和输出音频，以减少传统 STT–LLM–TTS 串联架构的切换延迟，并允许将复杂推理和 tool calling 委托给后端文本模型。

官方报告 Full Duplex Bench 相比 GPT-Realtime-2.1 提升 30 个百分点；Speak 的早期评估中，思考停顿期间的误打断相较此前 turn-based 系统减少近 80%。这些数字属于官方或合作方评估，不能外推为所有语音工作负载的普遍收益。

系统上更值得注意的是职责拆分：前端负责连续感知、打断、停顿和即时响应，后端负责较慢的 reasoning/action。Agent runtime 因而可能同时维护毫秒级交互状态、秒级推理状态，以及更长时间的工具和工作流状态。

深度分析

“执行状态”正在成为缓存系统的新边界

两个 vLLM 系材料共同指向一个问题：serving state 不再等价于 KV cache。在 R3 中，route record 决定缓存对应的执行路径；在实时世界模型中，step、interaction 与 compiled state 决定下一步执行能否正确延续。KV 仍然是主要张量状态，但系统正确性越来越依赖 KV 之外的控制状态。

这与传统 prefix cache 的语义不同。传统 prefix cache 主要回答“这段 token 对应的 KV 是否已经存在”；新的运行时还要回答“这份状态由哪条路径产生”“它与哪个执行阶段匹配”“外部事件发生后是否仍然有效”。从公开材料可以推测，未来缓存接口会更强调 provenance、version 和 dependency，而不只是 hash 与 location。这是本文基于公开设计变化作出的判断，不是相关项目已经宣布的统一接口。

对大模型推理与存储优化的启发

第一，缓存命中条件需要逐渐从内容相等走向执行语义相容。当模型包含条件路由、可重放执行或跨节点阶段切分时，token hash 只能证明输入内容相同，不能自动证明内部执行状态可互换，缓存系统需要更明确的 identity、provenance 和 validation。

第二，状态传输接口应区分 bulk data 与 control state。KV tensor 适合高带宽批量搬运，而 route record、step metadata、interaction state 体量小但一致性要求高。公开 RFC 已显示这种分离正在成为实际工程问题。

第三，Agent serving 的调度单位可能从 request 扩展到多个时间尺度的 session state。GPT-Live-1 的前后端委托和 vLLM-Omni 的持续交互都说明，一次逻辑任务可能持续很久，中间包含快速响应、后台推理、工具执行和新输入到达。传统以 request arrival/completion 为核心的队列模型需要补充 session、step 与 event 级状态管理。

第四，性能评测也应变化。仅报告 tokens/s 无法覆盖实时 Agent 和世界模型；后续更值得关注 interruption latency、event-to-action latency、跨 step 状态恢复开销、状态迁移失败后的恢复时间，以及控制状态与大张量状态不同步时的正确性测试。

今夜白的观察

今天没有一篇足以成为主线的新系统论文，但工程材料把一个容易被忽略的问题暴露得更清楚：下一阶段推理基础设施竞争的对象，很可能不再只是单独的 KV Cache，而是完整的模型执行状态。

PagedAttention 时代解决“如何把不断增长的 KV 更高效地放在显存里”；PD 和 KV Connector 把问题推进到“如何让 KV 跨实例流动”；R3、实时世界模型和全双工 Agent 又把边界继续向外推——系统还必须知道缓存来自哪次执行、对应哪条路由、处于哪个 step、是否受新的外部事件影响，以及怎样与后台推理结果重新汇合。

这并不意味着 KV 管理的重要性下降。相反，KV 会成为更大状态图中的主要数据载荷，而控制状态决定这些数据何时可复用、何时应失效、何时能够跨节点迁移。值得继续跟踪的是主流框架是否会形成统一的 execution-state identity、版本语义和跨阶段恢复协议。

原始资料链接

本期只列入能够回到官方项目或官方技术发布的一手材料：vLLM 的 R3 + PD RFC；vLLM-Omni 的 World Model Realtime Inference Roadmap；OpenAI 的 GPT-Live-1 API 官方发布。

参考资料

以上三项均为项目或厂商一手来源。本期检索中没有找到近 24 小时内同时满足“系统相关、技术细节充分、未在本站重复介绍、具有可靠一手材料”的新论文，因此没有把较早论文重新包装为今日进展。vLLM R3+PD 当前为 RFC；vLLM-Omni 路线图中部分里程碑仍为 partial；GPT-Live-1 的性能数字来自官方及合作方评估。文中涉及未来接口形态的表述均明确作为分析判断，而非项目已证明或已承诺的事实。