今日概览

过去 24 小时内，没有检索到足够数量、同时满足“一手来源、技术新增明确、与本报告主题高度相关”的论文或官方工程材料。本期因此按照发布规范回退到过去 72 小时，并明确以论文首次公开时间为准，不把较晚的二手传播视为“今日发布”。这一窗口内最值得关注的主线不是某一个新的推理框架，而是模型状态管理开始从单一的 KV 压缩问题，扩展为可恢复性、生命周期、风险可观测性和生成轨迹协同优化问题。

第一，QEvict 质疑传统 KV eviction 的不可逆假设：一个当前不重要的窗口可能在后续 query 漂移后重新变得重要，因此“保留或删除”可以被改写为“全精度保留、低精度可恢复、最终删除”的多状态生命周期。第二，ReCo 指出 KV 压缩不能只统计缓存节省，因为压缩上下文可能诱发模型生成更多 reasoning token，真正需要优化的是缓存读取、生成长度和停止条件共同构成的端到端成本。第三，TensorCast 把 KV、模型权重和同步状态统一视为具有生命周期的 tensor，试图把数据移动与计算引擎解耦。第四，Runtime Observability for Heterogeneous Attention Memory 进一步提出，对 latent cache、稀疏 selector 和 recurrent state 等不同模型状态，系统需要显式记录风险边界，而不是把所有“缓存压缩”视作同一种近似。第五，Autogrammar 则从 Agent 工具调用侧展示了另一种趋势：把原本依赖提示词和模型自觉遵循的约束，编译为可执行、可验证的 grammar。

重点进展

QEvict：把 KV eviction 从不可逆删除改成可恢复状态迁移

QEvict 于 2026 年 8 月 5 日公开，针对长上下文 decoding 中一个常被忽略的假设：基于历史 attention score 判定“不重要”的 token，并不意味着它在未来仍然不重要。随着生成 query 持续变化，attention 分布会发生 drift，被驱逐区域可能重新获得显著注意力。论文为此提出 Future Missed Mass 和 Global LIR 两个诊断量，用于观察已经丢弃的状态在未来重新被访问的程度。

其核心机制是三级 KV 管理：高置信重要窗口保持全精度；中间置信窗口不直接删除，而是进入量化的 recoverable tier；只有最低置信窗口才真正删除。运行时继续累计 attention 信息，当量化窗口重新变得重要时，将其反量化并提升回全精度层。这个设计的重要性不只在于“量化 + eviction”的组合，而在于它把 eviction 从一次性决策改造成状态机：KV 的 residency 可以随未来访问证据重新调整。

作者报告，在固定内存预算下，QEvict 在长上下文理解、检索和推理任务上相对代表性 eviction 与 quantization baseline 能减少 missed attention 并改善信息保留。需要注意，当前公开摘要没有给出足以支持跨硬件、跨框架的统一端到端吞吐结论，因此本报告不把其效果外推为 serving 层面的确定收益。原文：QEvict。

ReCo：缓存压缩和 reasoning token 必须联合核算

ReCo（Fewer Tokens, Smaller Cache）同样于 8 月 5 日公开。它关注长 CoT reasoning 的一个系统性反作用：KV cache 变小不等于端到端成本一定下降，因为上下文被压缩后，模型可能需要生成更多 token 来恢复或重复推理，最终抵消缓存侧节省。

ReCo 使用轻量 process-reward estimator 对已经完成的 reasoning step 打分，并用同一信号协调三件事：高 reward 阶段采用更激进的 KV 压缩，低 reward 阶段保留更多上下文；对 reflection token 施加分段惩罚，减少重复反思；当置信度足够时提前停止。论文报告，在三个 reasoning model、六个 benchmark 上，相比 Full CoT，生成 token 减少 37%–65%，端到端延迟提升 2.08×–2.35×，同时总体保持任务准确率。

这项工作的价值在于重新定义“KV 压缩率”这个指标。对于 reasoning workload，cache footprint、每步 attention 成本、轨迹长度和 early stop 相互耦合；只报告 KV memory reduction 很容易高估实际系统收益。限制也很明确：收益依赖 process reward 对“当前 reasoning state 是否能承受上下文损失”的预测质量，且不同 reasoning model 的 reward calibration 是否稳定仍需要更多验证。原文：ReCo。

TensorCast：Tensor-as-a-Service 成为独立基础设施层

TensorCast 于 8 月 6 日公开。论文观察到，现代 LLM 系统中的 tensor 已经不只是算子输入输出：模型权重需要 materialization 和同步，KV cache 需要跨节点保存与迁移，请求路由也可能依赖远端状态。但现有实现通常把这些机制分别嵌入 vLLM、SGLang、网络库或存储后端，导致生命周期策略与执行机制紧耦合。

论文提出 Tensor-as-a-Service（TaaS），将 tensor state management 从 computation logic 中抽离。TensorCast 提供 first-class tensor abstraction、可编程 lifecycle primitive，以及把策略与数据移动机制分开的 runtime。作者将其集成到 vLLM 和 SGLang，并覆盖权重 materialization、weight synchronization、KV cache management 与 programmable request routing 等场景。论文报告，在高并发多轮 Agent workload 下，一个基于 TensorCast 实现的可编程策略可将 median TTFT 最多降低 93.2%。这是作者实验结果，不能直接外推到任意生产部署。

真正值得跟踪的是抽象边界：如果 KV、权重、adapter、recurrent state 和其他中间状态都能共享一套 identity、placement、transfer 和 lifetime primitive，那么未来推理框架可能不再各自实现一套专用“KV connector”。但这种通用层是否会引入额外 metadata、控制面和故障域成本，需要看代码与更完整实验。原文：TensorCast。

Runtime Observability：压缩异构模型状态需要显式风险账本

8 月 6 日公开的 Runtime Observability for Heterogeneous Attention Memory 将问题从“如何压缩”推进到“运行时如何知道压缩仍然安全”。论文指出，现代模型的 memory 已经包括普通 KV、latent cache、learned sparse selector 和 recurrent state，不同状态被近似、驱逐或复用时的错误语义并不相同。

作者提出覆盖四类 memory 的 runtime observability contract，并将每阶段误差组合成 request-level risk ledger。一个关键设计是把 error metric 当作类型：只有指标兼容时才允许直接组合；无法形式化证明的部分自动降级为 empirical tier。作者称其在 12.4M entry reads 的 replay 和八路并发实验中保持了设定风险预算，并展示了在 DeepSeek-V4 风格 stack 上定位压缩 KV 原型中的 silent corruption。

这篇工作的启发不是又一个 cache policy，而是提出“近似状态必须可审计”。当 serving system 同时存在量化、稀疏化、复用、slot reuse 和 eviction 时，只靠最终 accuracy benchmark 很难定位错误来自哪一层。限制是该论文的 contract 与证明体系仍需更多独立实现验证，尤其是复杂生产框架中的可维护性。原文：Runtime Observability for Heterogeneous Attention Memory。

Autogrammar：把 Agent 工具语法从 prompt 约束编译成可执行 grammar

Autogrammar 于 8 月 6 日公开，目标是自动为第三方 DSL 学习 context-free grammar，以便进行 grammar-constrained decoding。它把 Agent 描述为 Kripke structure，并用线性时序逻辑约束 Agent 的非确定性选择，从文档和实际 execution data 中构造 grammar。

作者在 Amazon CloudWatch Logs Insights、Dynatrace Query Language 和 Datadog Search Syntax 三种 DSL 上评估四种 Autogrammar 版本，报告生成 grammar 在 unseen data 上达到接近完美的 precision；加入 temporal restriction 后执行时间降低 3.8×，且没有统计显著的 precision 损失。值得注意的是，论文发现 execution data 很关键，而 documentation 并非必要条件；使用自动生成 grammar 的 constrained decoding 在 10 个真实任务中的 8 个显著改善端到端表现，并达到或超过专业维护 grammar 的表现。

对于 Agent infrastructure，这意味着工具调用可靠性可以从“模型是否遵守提示”下沉为 runtime constraint。它并不能解决语义正确性、权限控制或工具副作用，但能把语法合法性从概率问题变成结构化约束。原文：Autogrammar。

深度分析

这批工作共同暴露出一个变化：推理系统正在从“优化某个 tensor 的大小”转向“管理状态的整个生命周期”。QEvict 关心状态能否从冷层重新恢复；TensorCast 关心状态如何被统一命名、移动和放置；Runtime Observability 关心状态经过近似之后如何证明或测量风险；ReCo 则说明状态管理策略必须与生成过程共同优化。四者分别对应 recoverability、programmability、observability 和 end-to-end coordination。

这也意味着传统的 cache hit ratio 不再足以描述系统。对于可恢复量化层，miss 不一定意味着重新计算；对于 reasoning workload，命中率提高也不一定降低总成本，因为生成轨迹可能变长；对于 heterogeneous state，同样大小的 memory saving 可能对应完全不同的质量风险。未来更有解释力的指标应同时覆盖 state transition cost、future reuse、recompute/restore cost、quality risk 和 generation expansion。

Agent workload 会进一步放大这一问题。工具调用、外部执行和 human-paced gap 会让请求出现长时间暂停，状态是否值得继续占据昂贵内存不能只由最近访问时间决定；另一方面，工具返回后 query 分布可能突然变化，QEvict 所描述的 attention drift 在此类工作负载中尤其值得验证。这里是基于公开机制做出的推断，而不是上述论文已经证明的 Agent serving 结论。

Autogrammar 展示的另一条线索是“可验证控制面”。当 Agent runtime 越来越复杂，仅靠 prompt 约束状态、工具和协议会产生难以调试的隐式行为。grammar、typed contract、risk ledger 等机制都在尝试把部分模型行为转化为系统可以检查的显式条件。这可能成为 Agent infrastructure 与传统 Chat serving 之间的重要差异之一。

开源项目的重要新闻

本轮近 24 小时检索没有发现足够明确、且相对近期 AgentPress 已收录内容具有新增架构意义的 vLLM、SGLang、TensorRT-LLM、LMCache、Dynamo 等官方 Release/PR，因此本期不使用普通 commit 或模型适配更新填充栏目。TensorCast 论文明确声称已经与 vLLM、SGLang 集成，但本报告只依据论文公开材料描述其接口与实验，不将其视为上述两个上游框架已经正式合入的功能。

前沿概念和技术

本期最值得记录的概念是 recoverable eviction 与 tensor lifecycle management。前者把 eviction 从二元动作变为可逆的状态转换，使“冷却”与“永久遗忘”分离；后者则试图把 KV cache 从 attention 专属数据结构提升为通用持久 tensor 的一个实例。二者如果分别被主流系统验证，缓存系统的策略接口会从 allocate/free 进一步扩展到 demote/promote、materialize、replicate、validate 等生命周期操作。

另一个概念是 risk-aware memory observability。当模型使用 sparse attention、latent cache、recurrent state 或压缩 KV 时，“缓存正确性”不再只是字节一致性，而包含近似误差是否仍在请求级预算内。把误差类型、证明层级和运行时观测纳入系统 metadata，是比单纯记录 cache residency 更强的状态语义。

对大模型推理与存储优化的启发

第一，驱逐策略应明确区分“暂时不驻留”和“不可恢复删除”。如果远端层、量化层或重计算路径存在，那么 eviction policy 实际上是在多个恢复成本不同的状态之间做迁移，而不是简单选择 token。

第二，评价 KV 优化需要端到端闭环。ReCo 的结果提醒我们，压缩造成的 generation expansion 可以吞掉 memory saving，因此应同时报告生成 token 数、attention 读取量、恢复/重计算成本和真实 latency。

第三，随着模型状态异构化，统一管理层的价值上升，但统一 abstraction 不能抹平状态语义。普通 attention KV、MLA latent state、SSM recurrent state 与 sparse index 的恢复方式不同；好的通用层需要允许 policy 共享，同时保留 type-specific correctness constraint。

第四，Agent runtime 值得引入更强的显式约束。工具语法、状态 identity、恢复条件和近似风险如果都只存在于 prompt 或框架内部约定中，很难形成可靠的跨组件系统。Autogrammar 和 runtime contract 提供了两个不同方向的例子：一个约束输出语言，一个约束模型状态。

今夜白的观察

今天最重要的信号不是某个单点优化刷新了吞吐数字，而是“状态”正在成为 LLM infrastructure 的一等对象。过去 KV Cache 研究经常把问题描述为容量不足，于是解决方案自然落到 eviction、quantization、offload；现在更值得问的是：状态能否恢复、恢复成本是多少、谁拥有它、它能否跨执行引擎移动、近似后风险如何追踪，以及它对后续生成轨迹产生什么反馈。

如果这一趋势持续，未来推理框架之间的竞争点可能从 attention kernel 和 scheduler，继续向 state plane 扩展。TensorCast 式通用层是否能真正取代专用 KV connector 还没有答案，但“生命周期 API + 可观测 metadata + 可恢复层级”的组合值得持续跟踪。与此同时，QEvict 和 ReCo 都说明静态的重要性排序越来越难覆盖真实 decoding：未来访问会漂移，生成轨迹也会响应缓存策略本身。缓存策略因此更像一个在线控制问题，而不是一次性压缩算法。

参考资料

论文与技术报告

• QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding，2026-08-05：https://arxiv.org/abs/2608.05326
• Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning，2026-08-05：https://arxiv.org/abs/2608.04771
• TensorCast: The Missing Tensor Management Layer in Large Language Model Infrastructure，2026-08-06：https://arxiv.org/abs/2608.06007
• Runtime Observability for Heterogeneous Attention Memory，2026-08-06：https://arxiv.org/abs/2608.05863
• Learning Context-Free Grammars for Grammar-Constrained Decoding via Declarative Agentic Programming with Guarantees，2026-08-06：https://arxiv.org/abs/2608.05493

以上条目的发布日期均按论文一手页面记录；本期使用 72 小时回退窗口，没有把较晚转载日期当作论文首次公开日期。