今日概览

今天值得关注的主线不是某个单独的 kernel，而是推理系统开始同时管理更多种类的“运行时状态”：目标模型 KV、draft 模型 KV、Agent 执行记忆以及会影响 prefix cache 连续性的上下文布局，都逐渐从附属数据变成系统设计的一等对象。

第一，长上下文 speculative decoding 暴露出新的瓶颈：强 draft model 虽然能提高 acceptance，但其自身 KV Cache 会随前缀增长而增加访存成本。8 月 31 日公开的 Strong Drafts Need Compact Memories 直接压缩 draft-side KV，在目标模型仍保留完整 KV、标准 accept/reject 规则不变的前提下，试图把“强 draft 的高接受率”和“轻量 draft 的低成本”结合起来。论文原文

第二，多 Agent 编排正在从“把完整历史重新塞给 router”转向维护显式、紧凑的 execution memory。Gated-Memory Routing 用 Memory Write Gate、Retrieval Gate 和 Adaptive Halting Controller 分别决定什么值得写入、什么值得读出以及何时停止协作。论文原文

第三，Agent context engineering 与底层 prefix cache 已经不能分开优化。TokenPilot 的 v2 在 8 月 28 日更新，核心问题正是任意删除上下文虽然减少 token，却会改变 prompt layout、破坏 prefix match，从而造成缓存失效。论文原文

第四，KV 压缩的研究重点也在变化。SemKV 不再只问“哪些 token 重要”，而是先测量量化的 quality cliff，再在 cliff 以上做混合精度插值；这提示 KV 压缩策略需要区分表示精度、token 保留和实际质量边界。论文原文

第五，工程侧出现了一个很具体的状态传输缺口：vLLM 9 月 2 日的新 issue 报告，在 Gemma 4 MTP + NIXL 的 P/D disaggregation 配置中，draft model KV 被排除在 transfer groups 之外，导致 decode 侧需要重新处理长 prompt 才能开始提出 speculative tokens。该问题目前仍是 open issue，不能视为已经确认的通用缺陷或已修复行为。vLLM #54926

重点进展

Strong Drafts Need Compact Memories：长上下文 speculative decoding 开始压缩 draft 自己的 KV

这篇论文于 2026 年 8 月 31 日首次公开，并被列为 EMNLP 2026 Findings。它抓住了 speculative decoding 在长上下文中的一个容易被忽略的问题：draft model 并不是越强越好。轻量 draft 每一步便宜，但在长距离依赖下 acceptance 容易下降；更强的独立 draft 能恢复 acceptance，却必须维护和读取越来越大的自身 KV Cache，因此 draft step latency 会随 prefix 增长。arXiv

作者提出 memory-augmented drafting：为强 draft 配置压缩的 draft-side KV memory，通过轻量 adaptor 构造并增量更新该记忆，同时保留远距离信息和精确的近期上下文。关键边界是只压缩 draft 的状态，target verifier 仍保留完整 KV，并继续使用标准 speculative decoding 的接受/拒绝规则。因此论文声称的 lossless 性质来自 verifier 没有被近似化，而不是 draft memory 本身无损。

公开摘要报告，在 Llama 3.1 8B 和 70B target、最长 32K prefix 的实验中，draft-side memory 降低超过 70%，相对普通 autoregressive decoding 的最高加速分别达到 2.08× 和 3.33×。这些数字是作者在特定模型和 32K 以内上下文中的结果，不能直接外推到更长上下文、不同 draft 架构或不同 serving batch。

这项工作的系统意义很明确：speculative decoding 的状态不再只有 target KV。只要 draft 本身具备独立模型状态，就会出现第二套随上下文增长的 memory hierarchy。未来评估 speculative decoding，除了 acceptance rate 和 draft FLOPs，还需要同时看 draft KV footprint、draft KV bandwidth、状态初始化/迁移成本以及 target/draft 两套状态的生命周期。

Gated-Memory Routing：把多 Agent 的执行历史压缩成可学习的运行状态

Learning What to Retain: Gated-Memory Routing for Efficient Collaboration in Multi-Agent LLM Systems 于 8 月 31 日提交，arXiv 页面注明已被 EMNLP 2026 Main Conference 接收。它针对的不是传统长期记忆，而是 multi-agent orchestration 中不断增长的 execution history。arXiv

如果 router 只根据原始 query 选择下一个 Agent，它看不到中间步骤已经完成了什么、哪里失败；如果每次把完整 execution history 都输入 router，后续决策又会持续处理大量重复或低价值轨迹。论文因此引入 learned execution memory：Memory Write Gate 只提交非冗余 reasoning steps，Retrieval Gate 为当前 Agent 提供相关子集，router 再依据 query 与这份 memory 选择下一角色和 backbone；Adaptive Halting Controller 则在已有证据足够时终止执行。

作者报告，在五个 reasoning 和 code-generation benchmark 上，其平均准确率比最强 baseline 高 2.44 个百分点；HumanEval 上推理成本相对该 baseline 降低 31.9%。论文同时公开了代码链接。这里更值得关注的不是单个精度数字，而是它把 Agent orchestration 重新写成了一个状态维护问题：执行过程中哪些信息被 commit、哪些信息被 retrieve、何时认为状态已经足够完成任务。

这与普通 chat history compression 有本质差别。Agent 的历史包含工具结果、失败路径、中间验证和角色协作状态，其价值随 workflow phase 变化。因而更合理的系统抽象可能不是“保存最近 N 轮”，而是显式维护可演化的 execution state。

TokenPilot v2：减少 token 与保持 prefix-cache continuity 是两个不同目标

TokenPilot 最初于 6 月 15 日提交，8 月 28 日更新到 v2，因此本期收录的是版本更新后的工作，而不是把旧论文重新描述为当天发布。论文明确指出，长程 Agent 的 context pruning 或 dynamic eviction 会改变序列布局；即使文本 token 数减少，也可能因为 prefix mismatch 造成 prompt cache invalidation。arXiv

它采用双粒度策略：Ingestion-Aware Compaction 在信息进入上下文时尽量稳定 prompt prefix，并过滤开放环境带来的噪声；Lifecycle-Aware Eviction 则追踪 context segment 的剩余效用，只在相关性衰减后按较保守的 batch-turn 节奏移除内容。论文在 PinchBench 和 Claw-Eval 的 isolated/continuous 两种模式中报告了 56%–87% 不等的成本降低，同时保持有竞争力的任务表现，并称该方法已经集成到 LightRSI。

这里最有价值的概念是 cache-aware context management。过去 context compression 常把 token count 当成主要目标，但在开启 prefix caching 的 serving 系统里，删除一个中间片段可能让后续大段 prefix 无法复用。Agent runtime 的优化目标因此应至少同时包含上下文长度、任务信息保真度和 cache continuity，而不是简单最小化 token 数。

SemKV：先测量 quality cliff，再决定 KV 混合精度

SemKV 于 8 月 28 日首次提交。作者发现，在其预设的多随机种子统计协议下，Llama-3.1-8B-Instruct 的 affine KV quantization 并非随 bit 数平滑退化：2.322 code bits/value 仍与 FP16 KV 没有统计可检测差异，而到 2.0 bits 出现明显质量坍塌；作者把这一窄区间称为 quality cliff，并报告类似现象在 generation-time quantization、多轮对话和 Mistral-7B 上也出现。arXiv

基于这一观察，SemKV 不删除 token，而是用模型内部 score 排序，为 token 分配 cliff 以上相邻的两档精度。作者报告，在 900 个样本、三个随机种子的测试中实现 6.0× KV 存储缩减且未检测到相对 full KV 的显著质量差异；换成 TurboQuant-MSE 后，其报告的无可检测损失点提高到 7.9×。

需要强调，quality cliff 是模型、量化器、任务和统计协议共同决定的经验边界，不应被理解成“所有 LLM 的 KV 都可以安全量化到 2.322 bit”。但方法论值得保留：先测部署条件下真正的质量边界，再在安全区间优化资源，而不是先规定固定 bit-width。

深度分析

Draft KV 正在成为 speculative serving 的独立系统对象

今天的论文与 vLLM 工程问题恰好从两个方向指向同一个边界。论文侧，Strong Drafts Need Compact Memories 表明 draft KV 的容量和访问成本足以抵消强 draft 带来的 acceptance 优势；工程侧，vLLM #54926 报告 Gemma 4 的 generic draft model KV 在 NIXL P/D disaggregation 中没有随主模型状态一起传输。

该 issue 的报告环境是 16× H200、两节点、NIXL、P/D disaggregation，并使用 Gemma 4 26B target 与 27B assistant draft。报告者称，在相关 KV-layout refactor 后启动崩溃消失，但 draft cache groups 被显式排除在 transfer_groups 之外；因此 15K input sequence 下，decode pod 要重新处理 prompt 的 draft heads 才能开始提出 speculative tokens。GitHub issue

目前这只是用户报告且尚无关联修复 PR，因此不能据此断言 vLLM 所有 MTP 或所有 NIXL P/D 配置都存在同样问题。但它说明一个通用的接口问题：当 serving framework 同时拥有 target KV、draft KV、Mamba/SSM state 或其他 auxiliary state 时，“KV connector”究竟传哪些 group，已经不能再靠默认假设决定。状态需要具备明确的 identity、transferability、ownership 和 compatibility contract。

Agent 的 context optimization 正在跨越 runtime 与 serving 两层

Gated-Memory Routing 与 TokenPilot 分别从 Agent runtime 和 serving cache 两侧给出证据。前者认为完整 execution history 不应每次重新消费，而应被写入门和检索门压缩为决策状态；后者则指出，即使上层决定删除一段文本，也必须考虑这一 mutation 对底层 prefix cache identity 的影响。

因此 Agent 的“记忆”至少存在三种不同对象：原始 episode/trajectory、经过选择或整合的 semantic/execution memory，以及 serving 层已经物化的 KV/prefix state。它们的生命周期并不一致。把三者都抽象成一个 context window，会隐藏大量实际成本：文本删掉了不代表 KV 迁移成本消失，语义内容相同也不代表 prefix hash 能命中，而长期保存所有历史又会让 routing 和 retrieval 本身越来越贵。

开源项目的重要新闻

vLLM：Gemma 4 MTP + NIXL P/D 暴露 draft-state transfer 缺口

9 月 2 日新开的 vLLM #54926 当前为 open issue，标签包括 kv-connector 与 speculative-decoding，尚无关联 branch 或 pull request。报告者指出，当前 main 在识别 externally transferable KV groups 后会跳过 draft model groups，从而避免早期的 layer-spec crash，但代价是 draft-side prefill state 不会到达 decode pod。Issue #54926

这项动态目前的价值主要是暴露接口边界，而不是提供已经可用的优化。如果后续维护者确认问题，值得继续观察的不是简单“把 draft KV 也传过去”，而是 generic draft、EAGLE/MTP、hybrid attention 等不同 speculative state 是否会形成统一的 transferable-state abstraction，以及 compatibility hash 是否需要覆盖 draft topology。

另一个 9 月 2 日 issue #54914 报告 DeepSeek-V4-Pro、3×8 H100、TP8+DP3 的 vLLM v0.28.0 集群在运行数天后，KV offloading load 路径出现 block-not-found assertion。它同样仍是单个生产部署报告，当前证据不足以归因到具体缓存一致性机制，因此本期只记录为需要跟踪的可靠性信号，不把它写成确定结论。Issue #54914

前沿概念和技术

今天更值得持续跟踪的概念是 state-aware serving，而不是再发明一个新的缓存名词。随着 speculative decoding、hybrid model 和 Agent workload 进入同一个推理栈，一个请求可能同时拥有 target KV、draft KV、短窗口状态、执行记忆以及可复用 prefix。不同状态具有不同的生成者、消费者、可迁移性和有效期。

这意味着传统“request → KV blocks”的单一映射正在变得不足。系统需要知道某块状态属于哪个计算阶段、是否能跨实例复用、是否必须与模型版本或 draft topology 绑定、丢失后是重新计算还是影响正确性。今天几项材料分别从压缩、传输和 context mutation 三个角度显示了这一趋势。

对大模型推理与存储优化的启发

第一，状态容量和状态移动必须联合评估。压缩 draft KV 可以降低访问量，但在 P/D 或多实例部署中，如果状态仍需跨节点搬运，其 serialization、transfer 和 compatibility 开销同样可能进入关键路径。

第二，缓存优化目标正在从 hit rate 扩展为 useful reuse。Agent 场景中，维持 prefix 连续性可以提高 cache hit，但保留大量低价值历史又会增加模型输入成本；反过来，激进 pruning 虽然缩短 prompt，却可能摧毁已经物化的 prefix state。更合理的指标应联合计算 saved prefill compute、额外 decode/context cost 和 state retention cost。

第三，压缩策略需要部署校准。SemKV 的 quality-cliff 结果说明固定 bit-width 并不天然对应固定质量风险。模型、任务、量化器和生成模式改变后，安全区间可能移动，因此系统最好把质量校准结果作为策略输入，而不是把某个 bit 数硬编码为普遍经验。

今夜白的观察

过去推理系统里最容易被忽略的一类成本，是“为了优化另一条路径而新引入的状态”。speculative decoding 为减少 target forward 次数引入 draft computation，随后又产生 draft KV；Agent 为避免反复读取完整历史引入 execution memory，随后又需要解决 memory write、retrieval 和 consistency；context compression 为减少 token，又可能破坏 prefix-cache continuity。

这说明下一阶段的系统优化不能只看某个算子的局部收益，而要追踪状态从产生、物化、复用、迁移到失效的完整生命周期。尤其在长上下文与 Agent workload 中，真正决定成本的往往不是“有多少 token”，而是这些 token 已经在系统的哪些层被物化成了什么状态，以及改变上层内容后哪些状态还能继续使用。

短期值得继续跟踪两件事：一是 vLLM 是否会把 draft KV 纳入更一般的 transferable KV-group contract；二是 Agent context management 是否会从文本级 token budgeting 进一步发展为同时感知 prefix cache、execution state 和模型调用成本的联合策略。

参考资料

论文与技术报告

• Tong Yuan, Chengxi Liao, Zeyi Wen. Strong Drafts Need Compact Memories: Long-Context Speculative Decoding with Compressed KV Cache, arXiv v1, 2026-08-31；EMNLP 2026 Findings。
• Rakibul Hasan Rajib, Mengxing Zheng, Qian Lou. Learning What to Retain: Gated-Memory Routing for Efficient Collaboration in Multi-Agent LLM Systems, arXiv v1, 2026-08-31；EMNLP 2026 Main Conference。
• Buqiang Xu et al. TokenPilot: Cache-Efficient Context Management for LLM Agents, v1 2026-06-15，v2 2026-08-28；EMNLP 2026 Findings。
• Daeha Lee, Do-Hyung Kim, Jae-Hong Kim. SemKV: Semantic Mixed-Precision KV Cache Quantization Guided by the Quality Cliff for Long-Context LLM Inference, arXiv v1, 2026-08-28。
• Dylan Zhang et al. Useful Memories Become Faulty When Continuously Updated by LLMs, v1 2026-05-13，v2 2026-08-29。该工作作为 Agent memory consolidation 的近期更新背景，本期未重复展开全文。

官方工程材料

• vLLM. #54926: Gemma 4 MTP + NIXL PD disaggregation — draft model KV not transferred, MTP ineffective, opened 2026-09-02，当前 open。
• vLLM. #54914: KV Cache Offloading AssertionError after several days of uptime with DeepSeek-V4-Pro, opened 2026-09-02，当前 open。

本期检索以近 24 小时新增工程材料和近 72 小时内新论文/实质版本更新为主。文中性能数字均按作者或 issue 报告者公开结果表述；对于尚未由上游确认的 GitHub issue，均明确按部署报告而非已证实的通用结论处理。