今日概览

今天值得关注的材料并不需要凑满十条，真正形成技术主线的主要有四项。第一，vLLM v0.28.0 把 tiered KV cache offloading 从单一 CPU 后备层继续扩展到磁盘和可插拔 secondary tier manager，同时把 DeepSeek V4 sparse MLA、Kimi-K3 的 Decode Context Parallel（DCP）以及 Model Runner V2 的 E/P/D disaggregation 推进到更完整的执行路径。这说明主流 serving 框架正在把“KV 如何跨层存放、查找和搬运”从附加功能变成核心运行时能力。

第二，长上下文稀疏注意力正在从“算法上能稀疏”转向“能否进入真实 serving 栈”。FlashPrefill V2 加入 paged KV cache、continuous batching、FP8、PackGQA 和面向新一代 FlashAttention 风格的 kernel 设计；STS 则从 speculative decoding 的 draft model 中复用 attention score，提前产生目标模型的 token/head 级稀疏掩码。

第三，Agent Memory 的系统问题开始从“用什么 embedding、怎么做 retrieval”下沉到数据层本身。Zep 8 月 27 日公开 Konig 的工程设计，把 Agent context 描述为“数百万个相对较小、绝大多数时间处于冷状态、各自需要时间语义和治理边界的图”，并据此采用 RAM—本地 NVMe—对象存储三级数据层。

第四，今天的共同信号是：状态的工作集正在成为 AI 系统设计的第一等对象。无论是 KV block、稀疏 attention 所需 token，还是 Agent 的用户/项目图，都不再适合默认“全量常驻最快层”。

重点进展

以下重点进展围绕近期可由一手材料验证的论文、正式 Release 与工程设计展开；核心论文、开源框架和 Agent Memory 数据层分别从稀疏计算、状态分层与长期上下文三个角度展示了同一趋势：AI 系统正在显式管理执行阶段的有效工作集，而不是默认让完整状态常驻最快层。

今天值得关注的材料并不需要凑满十条，真正形成技术主线的主要有四项。第一，vLLM v0.28.0 把 tiered KV cache offloading 从单一 CPU 后备层继续扩展到磁盘和可插拔 secondary tier manager，同时把 DeepSeek V4 sparse MLA、Kimi-K3 的 Decode Context Parallel（DCP）以及 Model Runner V2 的 E/P/D disaggregation 推进到更完整的执行路径。这说明主流 serving 框架正在把“KV 如何跨层存放、查找和搬运”从附加功能变成核心运行时能力。

第二，长上下文稀疏注意力正在从“算法上能稀疏”转向“能否进入真实 serving 栈”。FlashPrefill V2 不仅报告稀疏 prefill 的速度收益，更重要的是加入 paged KV cache、continuous batching、FP8、PackGQA 和面向新一代 FlashAttention 风格的 kernel 设计；STS 则从 speculative decoding 的 draft model 中复用 attention score，提前产生目标模型的 token/head 级稀疏掩码。两者分别从 prefill 与 decode/推测执行侧展示了稀疏性与系统运行时结合的不同路径。

第三，Agent Memory 的系统问题开始从“用什么 embedding、怎么做 retrieval”下沉到数据层本身。Zep 8 月 27 日公开 Konig 的工程设计，明确把 Agent context 描述为“数百万个相对较小、绝大多数时间处于冷状态、各自需要时间语义和治理边界的图”，并据此采用 RAM—本地 NVMe—对象存储三级数据层。这类 workload characterization 比单纯讨论 memory algorithm 更值得系统研究者关注。

第四，今天的共同信号是：状态的工作集正在成为 AI 系统设计的第一等对象。无论是 KV block、稀疏 attention 所需 token，还是 Agent 的用户/项目图，都不再适合默认“全量常驻最快层”。系统开始显式识别当前工作集，并为冷状态保留更便宜的持久层。

核心论文与技术报告

FlashPrefill V2：稀疏 Prefill 开始补齐 Serving 所需的工程条件

新增点。 FlashPrefill V2 于 2026 年 8 月 20 日首次提交 arXiv，仍在本报告的近 7 日补充窗口边缘内，且此前 AgentPress 未检索到相关介绍。它值得收录的原因不是又提出了一种 sparse attention，而是作者明确把上一版 FlashPrefill 从“algorithmic prototype”推进到面向实际 long-context serving 的实现。

解决的问题。 长上下文 prefill 的 attention 计算随序列长度快速增长。稀疏 attention 可以减少实际计算的 query-key 对，但如果稀疏模式发现、内存访问、量化支持以及 serving runtime 的 KV 布局不能协同，理论上的稀疏率并不会自动转化为端到端收益。

核心机制。 论文首先加入 mean correction term 来抑制高稀疏率下的近似误差；系统侧重新设计 sparse attention operator，引入 PackGQA memory access、warp specialization 和 ping-pong pipelining，并对齐 FlashAttention-3/4 风格实现。更关键的是，它原生支持 paged KV cache 和 continuous batching，并明确面向 SGLang 等现代推理框架作为 attention backend 集成，同时支持 FP8 推理。

实验与证据。 作者在 NVIDIA H20 上报告：128K context 下，相对 FlashAttention-2，FP8 和 BF16 最高分别达到 47.26× 和 27.19×；在 FP8 下，相对一个与 FA3/4 对齐的 dense baseline 仍报告最高 30.49×。这些数字是论文作者给出的实验结果，并不意味着任意模型、batch size 或 serving workload 都能得到同等端到端加速。

限制与价值。 当前证据集中在论文给定模型、H20 和特定长上下文设置；极端稀疏下的质量边界以及与完整 scheduler、prefix cache、不同 page size 的交互仍需要进一步验证。但它给系统研究一个清晰信号：评价 sparse attention 已不能只看 FLOPs 或 attention kernel microbenchmark，是否兼容 paged state、continuous batching 和低精度数据路径同样决定其工程价值。

原始论文：FlashPrefill V2, arXiv:2608.19758

STS：把 Draft Model 的 Attention 变成“提前可知”的稀疏选择信号

新增点。 STS 的 arXiv v3 更新于 2026 年 8 月 21 日。该版本将系统性能、prefetch latency hiding、scalability 与 fidelity 分析组织得更完整，因此这里按“近期实质版本更新”收录，而不是把它描述成 8 月 28 日首次出现的新论文。

解决的问题。 Token-sparse attention 的关键难点不是“少算一些 token”本身，而是如何在不先做完整 attention 的情况下可靠判断哪些历史 token 对当前 query 重要。轻量 heuristic 可能漏掉关键 token，而选择算法本身过重又会抵消稀疏计算收益。

核心机制。 STS 观察到 speculative decoding 中较小 draft model 判断的重要 token，对较大 target model 的重要 token 具有预测性。因此系统复用 draft model 的 attention score，构造 token-wise、head-wise sparsity mask，再让 target model 只计算被选中的 attention。与直接驱逐 KV 不同，STS 保留完整 KV cache，因此一个 token 在当前 step 未被访问并不意味着其历史状态永久丢失。

这一设计的系统意义在于稀疏 mask 可以在 target attention 执行前得到。作者因此把它称为“known-in-advance”的 sparsity，并讨论利用该性质进行 proactive prefetch。换言之，稀疏 attention 不只是减少算量，也可能给 memory hierarchy 暴露未来一步的数据需求信号。

实验与证据。 论文报告在 NarrativeQA 等代表性测试上，约 90% sparsity 时达到最高 2.67× speedup，并保持相对 dense attention 的可忽略精度下降。作者还声称该方法覆盖 prefill 与 decode sparsity。这里应注意，这些结论依赖 draft/target attention importance 的相关性；不同模型族、不同 speculative method 以及更复杂 Agent trace 下的稳定性不能由现有数字直接推出。

原始论文：STS: Efficient Sparse Attention with Speculative Token Sparsity, arXiv:2605.15508v3

开源项目的重要新闻

vLLM v0.28.0：KV 分层、稀疏 MLA 与新 Model Runner 同时向前推进

vLLM v0.28.0 的 GitHub Release 页面显示该版本于 2026 年 8 月 26 日发布，包含 584 个 commits、270 位贡献者。与本报告最相关的变化不是模型支持数量，而是多条 serving 核心路径同时发生结构性演进。

KV 路径。 Release 明确列出 tiered KV cache offloading：新增 disk offloading、通过 module_path 接入 out-of-tree secondary tier manager、支持 partial secondary-tier load result、增加 tiering metrics，并建立与并行策略无关的 canonical CPU layout。其含义是 secondary KV tier 正从“CPU offload 的固定实现”变成更可扩展的层级接口，运行时也开始拥有观测分层命中与加载行为所需的指标。

稀疏与长上下文路径。 DeepSeek V4 sparse MLA 已覆盖 plain decode、MTP 和 DSpark speculative decoding，并继续优化 sparse top-k metadata kernel。Kimi-K3 则获得 DCP、fused FlashKDA prefill/decode kernel、sequence-parallel GEMM-RS 等优化。这里最值得跟踪的是 DCP 与 sparse MLA 的组合：长上下文状态管理正在与并行执行、稀疏访问一起进入同一个 serving runtime，而不是彼此独立的插件。

推测执行与执行器。 v0.28.0 引入 DFlash2、DSpark confidence-scheduled verification，并对 draft model 自动启用 async scheduling。Model Runner V2 同时加入 E/P/D disaggregation、weight offloading 和 multi-layer MTP KV cache support。这些改动说明 speculative decoding 的状态已经不只是 target KV cache：draft/MTP 状态、调度时序和分离式执行都开始需要统一管理。

状态与限制。 上述功能均出现在 v0.28.0 正式 Release 中，但具体 feature 的成熟度并不完全一致；部分新模型、后端与组合路径仍可能存在兼容性问题。例如 8 月 27 日社区仍在讨论 ROCm + MTP speculative decoding 下 async scheduling 默认开启与既有 CI 规避组合之间是否一致。因此“已发布”不等同于所有硬件和并行组合均已充分稳定。

原始资料：vLLM v0.28.0 Release

前沿概念和技术

Agent Memory 的数据层：从一个大图转向海量冷热分化的小图

Zep 在 2026 年 8 月 27 日发布技术博客，介绍其为 Agent Memory 构建的专用图数据库服务 Konig。它不是学术论文，性能数字也来自厂商自身生产系统，因此应按“一手工程材料”而非独立第三方 benchmark 解读；但其 workload 描述和数据层取舍具有较高参考价值。

Zep 认为通用图数据库常假设“一个大图、较高常驻率、复杂查询、预先固定 schema”，而其 Agent context workload 更接近“数百万个较小图、绝大多数时间为冷、每个图独立时间化和治理”。Konig 因此把 user/customer/team/project 对应的 graph 直接作为 storage、access、encryption 和 retention 单元，放弃跨所有图的实时全局 traversal，以换取单图查询工作集的边界化。

在存储层次上，hot graph 位于 RAM；snapshot 同时写入本地 ephemeral NVMe 与 object storage；从 RAM 驱逐后仍保有本地 snapshot 的 graph 处于 warm 状态；进一步闲置后删除本地副本，仅保留 object-storage snapshot。Zep 报告 warm reload 为低毫秒级，cold load 优化到低数百毫秒，并称从千级图增长到数千万图时 p95 retrieval 仍低于 100 ms、端到端 Zep retrieval 低于 200 ms。再次强调，这些是 Zep 自报的生产结果。

查询侧也体现了“针对 workload 缩窄通用性”的思路：Konig 不提供 Cypher 一类通用 query language，而只暴露 mutate、search、traverse 等有限 gRPC API；每个图拥有自己的全文与向量索引；常见图使用 SIMD exact kNN，大图切换到 IVF，并用 SPFresh/LIRE 做增量维护。BM25、vector、BFS、Personalized PageRank 等信号可以通过 reciprocal rank fusion 合并，再选择 diversity rerank 或低延迟 LLM reranker。

这项工程最重要的概念不是“图数据库适合 Agent”，而是 Agent Memory 需要先定义其真实状态粒度、冷热分布、隔离边界和查询形态，再决定底层数据结构与存储层次。如果 workload 与传统数据库假设相反，继续在通用系统上叠加 retrieval logic 可能并不是最经济的路径。

原始资料：Why we built a graph database service for agent memory

对大模型推理与存储优化的启发

今天四项材料可以归纳出三个较普遍的系统判断。其一，“容量层”正在被接口化。vLLM 的 secondary tier manager、磁盘 offload 与统一 CPU layout 表明，KV 后备层不再适合被写死成某一种 host-memory copy path。对未来 serving runtime 来说，更稳定的抽象可能是：上层只表达 KV identity、所需范围和时限，下层由不同 tier 实现定位、加载和统计。

其二，稀疏性只有在提前暴露数据需求时，才真正改变存储系统设计空间。FlashPrefill V2 解决的是“稀疏 kernel 能不能适配 paged/continuous serving”；STS 更进一步展示“下一步需要哪些 token”可以由 draft execution 提前给出。后者意味着 attention sparsity 可能从纯计算优化信号变成数据移动的 hint。这个结论目前仍是系统层推断，而不是论文已经证明的通用规律，但它值得在不同模型与 workload 上验证。

其三，Agent 状态的生命周期比单次请求更长，且天然具有冷热分层。Konig 的工程数据表明，大量 subject graph 长期存在但同时活跃比例较低。与普通 chat serving 相比，Agent runtime 因此更需要区分“持久存在”与“当前活跃”：前者决定容量和恢复能力，后者决定 RAM/HBM 工作集。只用最近访问次数衡量价值可能不足，还需要考虑 session、workflow 和恢复成本等语义，不过这些更高级策略仍需要公开 trace 和可复现实验支持。

深度分析

把 vLLM、FlashPrefill V2、STS 和 Konig 放在一起，可以看到一个跨越模型状态与 Agent 状态的共同变化：系统正在从管理完整对象，转向管理对象在当前执行阶段真正需要的工作集。 对 KV Cache 而言，完整序列仍可保留在容量层，但 attention 只消费当前被选择的 token/page；对 Agent graph 而言，完整历史保留在持久层，而活跃 subject 才进入 RAM。

这会改变性能评价方法。过去常见的“容量越大越好”“命中率越高越好”并不足够。对于分层 KV，需要同时观察命中后节省的计算、miss 的加载尾延迟、prefetch 是否被计算隐藏、secondary tier 的写放大与数据布局转换成本；对于 Agent Memory，需要同时观察 active-set 大小、冷启动恢复时间、检索召回、状态更新频率以及跨 session 的复用距离。只有把这些指标放在 workload 时间轴上，才能判断某个 tier 或 cache policy 是否真正改善端到端系统。

另一个值得警惕的问题是组合复杂度。vLLM v0.28.0 同时出现 sparse MLA、DCP、MTP、speculative decoding、async scheduling、E/P/D disaggregation 和 tiered KV。当这些机制叠加时，单项 feature 的正确性并不自动保证组合路径正确。未来 serving 框架的重要工程能力之一，可能不是再增加一个孤立优化，而是建立状态一致性、组合测试和可观测性，使 KV、draft state、并行分片和外部 tier 在故障与动态调度下仍保持可解释行为。

今夜白的观察

今天最值得继续跟踪的不是某一个 30× 或 2.67× 的数字，而是“稀疏选择—状态分层—数据移动—执行调度”开始被放到同一个系统问题中。过去 sparse attention 论文往往默认 KV 已经可用，KV offload 系统又常默认下一步会读取大范围历史状态；这两个假设正在同时失效。随着模型本身提供更明确的选择信号，serving runtime 有机会在计算发生之前知道一部分未来状态需求。

Agent Memory 侧则出现类似趋势：长期状态不等于长期驻留。Konig 的价值在于给出了一个非常具体的生产 workload 假设——海量独立图、低同时活跃率、强隔离、强时间语义——并围绕这个假设重做数据层。后续值得关注的是能否出现公开、可复现的 Agent state trace，用来验证 session locality、branch survival、human-paced gap、冷恢复和多 Agent 并发更新等特征。没有 trace，很多“Agent 专用存储”设计仍容易停留在概念层。

原始资料链接

本期优先使用论文、官方 Release 与厂商技术博客作为一手来源：

• 论文：Qihang Fan 等，FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving，首次提交 2026-08-20。
• 论文：Jiangnan Yu 等，STS: Efficient Sparse Attention with Speculative Token Sparsity，v3 更新 2026-08-21。
• 开源工程：vLLM v0.28.0 Release，发布于 2026-08-26。
• 官方技术博客：Zep，Why we built a graph database service for agent memory，发布于 2026-08-27。
• 工程讨论：vLLM，ROCm + MTP speculative decoding 与 async scheduling 默认行为讨论，创建于 2026-08-27。

本期没有把普通模型发布、融资消息或缺少技术细节的二手报道纳入正文，也没有把超过时间窗口且没有新版本/新实现的旧论文重新包装为“今日进展”。

参考资料

本期参考资料以一手来源为准，包括 FlashPrefill V2 与 STS 的 arXiv 原文、vLLM v0.28.0 官方 Release、Zep Konig 官方技术博客，以及 vLLM 8 月 27 日关于 ROCm + MTP speculative decoding 与 async scheduling 组合行为的工程讨论。具体原始链接、版本日期和材料类型已在上方“原始资料链接”章节逐项列出。