今日概览

过去 24 小时内，严格符合“一手材料 + 明确技术新增”的高质量系统论文数量有限，因此本期没有用普通产品新闻补齐篇幅，而是将检索窗口扩展到近 7 天，并严格标注原始公开时间。今天最值得关注的主线不是某个新模型榜单，而是状态正在从模型内部附属物变成独立的系统对象：Agent 的长期工作区开始被直接虚拟化为分层 KV 状态；Agent memory 的跨模型迁移开始被单独测量；Agent 构建能力也开始从“会不会调用工具”升级为“能否交付一个真实可部署的 Agent”。

第二条主线是稀疏化从推理执行扩展到训练与监督本身。一项 ICML 2026 工作重新系统研究 layer dropout，报告在合适的层分布、调度和优化器配置下可节省最多 25% 训练 FLOPs，并为 early exit、层跳过和 self-speculative decoding 提供结构基础；另一项新工作则发现，仅监督推理轨迹中约 0.05% 的 token，在多组设置下仍可达到或超过全 token 监督的推理增益。

第三条主线来自工程侧：vLLM 最新发布周期继续把 DeepSeek V4、MTP speculative decoding、shared KV-cache layers 和 Model Runner V2 推向主路径；LMCache 则出现了一个很值得系统研究者注意的 RFC——当 L2 KV 加载过慢时，不应无限等待缓存，而应允许超时后回退到重计算。这实际上把“缓存命中”从二元事件改成了带延迟预算的在线决策。

重点进展

KVMem：把长期 Agent 工作区虚拟化为分层 KV 状态

新增点。 KVMem 于 2026 年 9 月 4 日提交 arXiv，近期进入公开检索与讨论。它针对一个比普通长对话更具体的问题：长期运行 Agent 的 workspace history 可能同时超过 GPU KV 容量和模型原生上下文窗口，而传统压缩会损失执行证据，文本 RAG 又需要把已经计算过的历史重新 prefill。

核心机制。 KVMem 将溢出的历史保存为跨 GPU memory、host memory 与 NVMe 的 paged KV state，并使用轻量的、模型原生 attention-space index 选择与当前 query 相关的历史 block，再将这些 block 物化成受模型原生 context window 限制的 execution view。关键抽象不是“让模型一次注意 1M token”，而是把可寻址的逻辑工作区与单次执行窗口解耦。

实验与证据。 论文覆盖 LongMemEval、MemoryAgentBench、AgentLongBench 等长程 Agent benchmark，并报告在 DeepSWE long-context、Qwen3.8-27B 设置下，任务成功率由仅压缩方案的 43.8% 提升到 48.4%。本地部署实验中，作者使用 24GB RTX 5090 Laptop GPU、Qwen3.6/3.8-27B NVFP4 与 MTP，虚拟化最多 1M token 的 Agent workspace，即模型 256K 原生窗口的 4 倍；单 session 报告约 50 token/s。

限制。 这些数字来自作者实验，不能直接外推到多租户 serving；attention-space selection 本身也引入了新的“相关历史漏选”失败模式。论文最重要的系统意义，是把 Agent 长期状态管理从“压缩文本”推进到“虚拟化已计算模型状态”。

原始论文：https://arxiv.org/abs/2609.04852

Agent Memory 可迁移性：模型升级后，旧记忆并不天然兼容

Ankit Goyal 与 Jaideep Ray 的研究于 9 月 4 日提交 arXiv，直接测试同一份历史在模型升级后能否继续可靠使用。作者比较四种表示：原始长上下文 LC-RAW、RAG chunks、模型压缩的自然语言 NOTES，以及固定 schema 的知识图谱 KG-fixed。

结果显示，记忆表示与写入模型之间存在显著耦合。固定 schema 的 KG 在 writer swap 后准确率变化仅为 +0.0004 ± 0.0020；而 NOTES 会随迁移方向出现 +9.91 或 -13.28 个百分点的非对称变化。RAG 的问题则更多来自 embedding space：50/50 混合新旧 embedding 的部分迁移只获得 4.96 个百分点提升，而完整 re-embedding 的收益为 11.90 个百分点。作者进一步分解错误来源，指出 NOTES 的主要损失发生在最初压缩阶段，而 RAG 的主要损失来自 retrieval failure。

这项工作的价值在于，它把 Agent memory 从“存什么”推进到版本化状态兼容性问题：memory store、embedding model、writer model 和原始 evidence 都需要版本边界。论文只使用 48 个合成 history 和两个 10B 以下开源模型，因此还不能证明结论在大规模真实 Agent trace 上同样成立，但“模型升级 ≠ memory 无损升级”已经是一个值得独立测试的工程假设。

原始论文：https://arxiv.org/abs/2609.05339

τ^τ-Bench：不再测 Agent 做任务，而是测 coding agent 能否造出 Agent

τ^τ-Bench 于 9 月 4 日提交 arXiv。它改变了常见 Agent benchmark 的任务边界：developer agent 不再直接完成客服任务，而是拿到业务记录、客户需求、生产 API、遗留代码库、模型与 serving 成本限制，最终交付一个完整 customer-service agent，再由 held-out simulated users 对这个交付物进行部署评测。

论文包含四个领域的 53 个任务。作者报告最强配置 Claude Opus 5 + Claude Code 仅通过 23.9% 的 evaluation simulations，而专家编写的 reference ceiling 为 82.2%。作者观察到的失败并非单纯“模型不会写代码”，而包括对业务记录理解过浅、几乎不与 client 沟通、对 agent architecture 与 serving spend 的实验不足，以及倾向于直接交付第一个能运行的设计。

这类 benchmark 对 Agent infrastructure 很重要，因为它开始同时暴露代码、状态、工具协议、服务成本和需求澄清之间的耦合。限制也很明确：23.9% 是特定模型、harness 和 benchmark 的结果，不能被解释为所有 coding agent 的一般能力上限。

原始论文：https://arxiv.org/abs/2609.04611

极稀疏监督：推理后训练未必需要逐 token 教师信号

《Extremely Sparse Supervision Incentivizes Reasoning Ability》于 9 月 3 日提交 arXiv。作者在 on-policy distillation 设置中发现，仅选择每条 reasoning trajectory 中一到两个 token 进行监督，约占全部 token 的 0.05%，在多数实验中仍能匹配或超过 full-token training 的推理能力提升。

作者在 Qwen3 系列上测试了 9 组 teacher-student 配置，并进一步扩展到 coding reasoning、Llama 模型以及 PPO-based RLVR。这个结果的关键不是简单“少算 99.95% token”，因为完整 rollout、teacher 信息和训练流水线仍有成本；真正值得关注的是，有效学习信号可能高度集中在少数关键状态转折点。如果这一现象能在更大模型和更复杂 agentic RL 中复现，训练系统未来可能需要围绕“关键 token / 关键状态识别”重新设计监督采样与数据路径。

原始论文：https://arxiv.org/abs/2609.04565

Layer Dropout 回归：训练期结构稀疏为推理期动态执行留下接口

《Don’t Drop Dropout》是 ICML 2026 论文的稍扩展版本，于 9 月 4 日上传 arXiv。作者通过超过 2400 次训练实验，覆盖 271M 到 8.2B 参数、最多 160B token 数据，重新研究过去在大模型预训练 recipe 中逐渐淡出的 layer dropout。

作者报告，在优化 layer distribution、时间 schedule 与 optimizer hyperparameters 后，相同训练步数下可在保持相近或更低 validation loss 的同时节省最多 25% 训练 FLOPs；更重要的是，这种训练方式使模型天然适应 early exit、intermediate-layer skipping 与 self-speculative decoding，推理侧报告最高 1.5× speedup 且准确率损失可忽略。这里的上限数字依赖作者实验配置，不能理解为通用 serving 加速比。

它对系统研究的启发是：推理时的动态层执行不一定只能靠 post-hoc pruning 或独立 draft model，训练 recipe 本身可以预先塑造“可跳过计算”的模型结构，从而改变 speculative decoding 的系统设计空间。

原始论文：https://arxiv.org/abs/2609.05275

开源项目的重要新闻

vLLM：DeepSeek V4 与 Model Runner V2 继续进入主执行路径

vLLM 当前最新 release 的主要变化包括 DeepSeek V4 的结构重整、NVFP4 fused MoE、full/piecewise CUDA graph、MTP speculative decoding，以及多项 sparse MLA、indexer 和 fused kernel 优化；Model Runner V2 已成为 Qwen3 dense model 的默认 runner，不支持的功能仍回退到 MRv1。同时 release 还包含 shared KV-cache layers 等能力。

这里值得关注的不是“又支持了一个模型”，而是 vLLM 的执行路径正在同时吸收新模型架构、speculative decoding、共享 KV 状态和 runner 重构。这意味着未来 KV manager 与 scheduler 的接口需要更少依赖传统 dense Transformer 的固定层假设。当前 MRv2 仍存在功能回退，因此它更像迁移中的主路径，而不是完全替代 MRv1。

官方 Release：https://github.com/vllm-project/vllm/releases

LMCache RFC：L2 KV 读取过慢时，允许放弃缓存并重计算

LMCache 9 月 4 日提出 RFC #4945，为 MP mode 的 L2 prefetch/load 增加可配置 timeout；一旦等待超过预算，调用方可以停止等待缓存并回退到 recomputation。RFC 的动机非常直接：远端或低层级 KV 命中如果排队和加载过慢，继续等待可能比重算缺失 KV 更慢。

该功能目前仍是 Open RFC，不是已发布能力。但它提出了一个很重要的 serving 原则：cache policy 不能只优化 hit rate，还要比较 load latency 与 recompute cost。当 KV 被扩展到 DRAM、远端内存或存储层时，这类 latency-budgeted fallback 会成为 tail latency 控制的一部分。

RFC：https://github.com/LMCache/LMCache/issues/4945

前沿概念和技术

今天最值得单独提炼的概念是 addressable state 与 executable state 的分离。KVMem 中 1M token 是可寻址历史，而不是一次 attention 的物理窗口；Agent memory portability 则说明“可保存”也不等于“可被新模型正确解释”。两者共同表明，未来 Agent state 需要至少区分逻辑身份、物理表示、模型/embedding 版本以及当前执行视图。

另一个值得跟踪的概念是 compute-aware cache hit。传统缓存通常把 hit 当作收益，但 LMCache RFC 明确暴露了反例：一个慢命中可能不如重算。对长上下文推理而言，缓存层级越深、网络和存储 tail 越明显，系统越需要把“命中率”升级为“命中后是否值得等待”的成本模型。

深度分析

把今天的论文放在一起看，可以看到推理系统的优化对象正在发生变化。过去的核心对象通常是 request、token、batch 和 GPU memory；现在越来越多工作直接操作跨请求、跨时间、跨模型版本存在的状态。KVMem 管的是长期 workspace 的已计算 KV；memory portability 管的是模型升级后的持久记忆；τ^τ-Bench 则把一个完整 Agent 服务作为 coding agent 的交付对象。系统边界因此从单次 inference engine 向 persistent runtime 扩张。

这也解释了为什么单一指标越来越不够。KV hit rate 不包含命中延迟，context length 不等于可寻址 workspace，Agent benchmark 的 task success 也不等于能否构建一个稳定服务。更合理的评测需要同时记录状态生命周期、恢复成本、版本迁移、tail latency、执行预算和最终任务效用。

对大模型推理与存储优化的启发

第一，KV Cache 正在从显存优化对象转向持久状态抽象。一旦历史 KV 能跨 GPU、CPU memory 和 NVMe 保存并按 query 选择，缓存系统需要处理的不只是 allocation/eviction，还包括 identity、index、版本兼容和恢复语义。

第二，“保留原始证据”具有系统价值。Agent memory portability 的实验显示，仅保留压缩 NOTES 时 repair 很困难，而保留 raw source history 能显著改善部分迁移方向的恢复能力。这提示存储层设计不能只追求最小容量，还应考虑未来重编码、重嵌入和模型迁移的可恢复性。

第三，重计算应当成为多级缓存的显式候选路径。LMCache RFC 所体现的 timeout + recompute fallback 很可能比单纯追求更高 L2 hit rate 更符合在线服务目标。对于远端 KV、分层 KV 或共享 KV，策略应直接优化端到端 latency，而不是缓存内部指标。

第四，模型侧的稀疏性正在改变系统机会。Layer dropout 让动态层跳过和 self-speculative decoding 更自然；极稀疏监督则提示训练阶段也可能只需在少数关键 token 上投入高质量信号。模型、训练和 serving 的稀疏性可能最终需要共同设计，而不是三个独立优化阶段。

今夜白的观察

今天最明显的趋势是：“上下文”正在被拆成多种不同生命周期的状态。 短期执行窗口、长期 Agent workspace、外部 memory、KV pages、embedding index 和原始 evidence 不再适合被统称为一个 context。它们有不同的容量、延迟、版本和一致性要求。谁能先把这些状态的身份和生命周期定义清楚，谁就更可能形成下一代 Agent serving 的稳定接口。

另一个判断是，未来系统论文需要更谨慎地使用“缓存命中”“百万上下文”“多 Agent 增益”等表述。KVMem 的 1M token 是虚拟化工作区而非 1M-token dense attention；MA/Agent 系统的提升必须控制模型调用预算；缓存命中也必须计入读取 tail。研究问题正在从“能不能做到”转向“在相同资源和清晰语义下是否仍然成立”。

参考资料

以下均优先列出论文原文或项目官方页面；正文中的性能数字均来自对应作者材料，未将二手报道数字作为实验事实。

论文与技术报告

• KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU — arXiv，2026-09-04 提交。
• Does Your Agent’s Memory Survive a Model Upgrade? A Controlled Study of Memory Portability — arXiv，2026-09-04 提交。
• τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction — arXiv，2026-09-04 提交。
• Extremely Sparse Supervision Incentivizes Reasoning Ability — arXiv，2026-09-03 提交。
• Don’t Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference — arXiv 扩展版，论文发表于 ICML 2026。

开源工程

• vLLM Releases — 官方 release 页面。
• LMCache RFC #4945: Configurable L2 Load Timeout with Recompute Fallback — 2026-09-04 创建，当前为 Open RFC。