今日概览

过去 24 小时内，在严格限定为论文原文、官方仓库和正式技术材料后，没有发现足以单独构成一期报告的 6–10 项全新高质量系统论文。因此本期按发布规范回退到近 7 天，重点选择此前 AgentPress 尚未收录、且与推理状态、Agent 记忆和长上下文直接相关的材料；工程动态则保留过去 24 小时内能够揭示系统边界的问题。

第一条主线是 KV Cache 正在从单机推理引擎内部的数据结构，变成跨实例、跨节点甚至跨服务边界的基础设施对象。An Internet for the KV Cache 直接把问题提升到身份、发现、路由、传输和生命周期层面，这种视角比单纯讨论 offload 或 prefix cache 更接近大规模推理基础设施真正需要解决的问题。

第二条主线是 Agent 工作负载推动 KV 压缩从静态上下文压缩转向在线、任务感知的状态管理。Practical Online KV Cache Compaction for LLM Agents 把未来查询、持续交互和有限缓存预算纳入同一个在线问题，而不是假设完整上下文一次性可见。

第三条主线来自 Agent memory：SkillSmith 不再把“记忆”只理解为可检索文本，而是讨论参数化技能与文本知识如何组合。第四条主线是长上下文的信息密度问题：ReToken 通过紧凑检索表示改善视觉长上下文中的目标定位，说明上下文扩展并不等价于有效信息利用。

重点进展

1. An Internet for the KV Cache：把 KV Cache 视为可路由的基础设施对象

这篇 2026 年 8 月初公开的论文关注的不是某一种 KV 淘汰算法，而是更基础的系统问题：当 LLM 推理跨越 Agent、RAG、工具调用、代码执行和多模态服务时，KV Cache 已经不再天然属于某一个进程或 GPU。论文据此重新审视经典基础设施边界，讨论如何让 KV 状态在异构推理环境中被识别、定位、共享和迁移。

其重要性在于问题抽象发生了变化。传统 prefix caching 通常假设“请求进入某个 serving engine，然后查询本地缓存”；而跨实例 KV 复用要求系统回答至少四类问题：某段 KV 的身份是什么、谁拥有它、请求应该路由到缓存还是缓存应该移动到请求、以及状态失效和版本变化如何处理。论文标题中的“Internet”更多是一种体系结构类比，而不是声称已经形成互联网式标准协议。

从公开材料可以确认，这项工作把 agent、retrieval、tool-use、code execution 和 multimodal inference 都视为推动 KV 跨边界流动的负载来源。它的价值主要在问题定义和基础设施抽象，而不是已经证明某个统一协议在生产环境中优于现有系统。因此目前更适合把它看作体系结构方向的研究议程，而不是成熟实现。

2. Practical Online KV Cache Compaction for LLM Agents：压缩开始面向未来查询

这项来自 UC Santa Barbara 与 LinkedIn 作者的研究把 KV compaction 放进 Agent 的持续交互过程中。与一次性长文本压缩不同，Agent 在执行任务时会不断接收新观察、工具结果和用户输入；系统在当前时刻决定丢弃哪些 KV 时，并不知道后续查询会访问哪些历史信息。因此它本质上是一个在线决策问题。

论文的关键价值在于把“未来查询”引入压缩评价。对于普通静态 benchmark，压缩算法往往可以根据当前 attention 或固定任务设计保留规则；但 Agent 的下一轮问题取决于前面工具执行结果和工作流分支。由此产生的系统含义是：KV utility 不应只由 token 当前的重要性决定，还与未来访问概率、任务阶段和状态恢复需求有关。

需要注意，这篇论文目前仍是预印本，实验结论应限定在作者公开的模型、Agent workload 和压缩配置范围内。它说明在线 compaction 值得研究，但不能据此推断某一种预测信号已经能普遍解决长期 Agent 的 KV 生命周期问题。

3. SkillSmith：Agent memory 从“文本知识”走向“技能 + 知识”组合

SkillSmith 讨论 Agent 系统中的两类能力来源：一类是模型或技能模块中已经参数化的执行能力，另一类是可以显式读取的文本知识。论文试图让 Agent 学习如何组合二者，而不是把所有历史经验都转化成同一种文本 memory。

这对 Agent 基础设施的意义比单纯提高 benchmark 分数更值得关注。当前很多 memory system 默认“记忆 = 文档 + embedding + retrieval”，但真实 Agent 的可复用状态还包括已经学会的技能、工具使用模式和任务策略。如果这些状态具有不同成本、生命周期和更新机制，那么统一 memory API 之下可能需要不同的物理表示和恢复路径。

目前论文能够支持的是“组合参数化技能与文本知识”这一研究方向及作者给出的实验结果；把它进一步解释成通用 Agent runtime 的分层状态体系，是本文基于公开材料做出的系统推断，而不是原论文已经实现的基础设施。

4. ReToken：长上下文问题也可以通过更好的检索表示解决

ReToken 针对长视觉上下文中 distractor 增多后检索性能下降的问题，引入紧凑的检索表示来帮助模型定位相关视觉信息。它并非 KV Cache 系统论文，但揭示了一个与长上下文 serving 高度相关的事实：增加可容纳 token 数量并不会自动提高有效上下文利用率。

对系统研究而言，这类方法值得关注，因为“上下文容量”和“真正需要参与高成本 attention 的状态量”正在逐渐分离。如果模型架构能够生成廉价、紧凑、可用于筛选的中间表示，serving runtime 就可能围绕这种表示设计更早的选择、预取或分层存储机制。不过 ReToken 面向视觉检索，其结论不能直接外推到文本 KV Cache 或通用稀疏 attention。

深度分析

从缓存容量优化转向状态身份与生命周期

把上述工作放在一起，可以看到近期系统研究的重心正在发生一个值得持续跟踪的变化：过去的问题通常是“如何让更多 KV 放进有限 HBM”，而新的问题越来越接近“哪些状态值得保留、状态在哪里、如何找到它、何时移动，以及下一次调用是否还能安全复用”。这意味着缓存命中率本身不足以描述系统质量，identity、freshness、ownership、placement 和 recovery 会逐渐成为同等级指标。

这种变化在 Agent workload 中尤其明显。普通 chat 请求结束后，runtime 可以释放绝大多数执行状态；Agent 则可能在工具调用后暂停，在几十秒甚至更久之后恢复，也可能产生 branch、retry 或多 Agent 协作。此时简单的 LRU 只看最近访问时间，无法表达“当前冷、但下一阶段很可能恢复”的状态。

层级缓存的正确性问题正在变得和性能一样重要

过去 24 小时值得记录的一项工程信号来自 SGLang：官方仓库出现 DeepSeek-V4 与 hierarchical cache 组合下的 sliding-window KV position corruption 报告，并进一步导致下游 NaN sampling crash。该问题目前是 GitHub issue 中报告的故障，不能在修复合并前描述为已经确认的框架根因，但它说明混合 attention 形态、滑动窗口位置语义和层级缓存写入位置之间存在非常脆弱的契约。

对于多级 KV 系统，这类问题比单纯带宽下降更危险：数据“成功搬运”并不意味着状态语义正确。未来评价 KV connector、offload 或 hierarchical cache 时，需要同时验证 token identity、layer identity、position、attention type 和版本一致性，而不能只验证 buffer 大小和传输完成事件。

前沿概念和技术

本期最值得提炼的概念是 KV identity。当缓存只存在于单个 engine 内部时，block id 和物理地址几乎足够；当状态跨实例共享后，身份需要覆盖模型版本、token 序列、位置语义、attention 层类型以及可能影响 KV 数值的执行配置。否则“命中”可能只是字节层面的命中，而不是语义上可安全复用的命中。

第二个概念是 future-query-aware state management。Agent 的下一轮访问由工作流决定，因此缓存策略开始需要预测未来查询，而不仅是总结过去访问。这与传统 CPU cache 的局部性假设不同：工具调用、用户等待和任务分支会制造很长的时间间隔，但逻辑上的 session locality 仍然存在。

第三个概念是 heterogeneous memory semantics。SkillSmith 所体现的技能与文本知识差异说明，Agent memory 并非一种统一对象。未来基础设施可能需要对不同状态提供不同的一致性、持久化、检索和恢复语义，而不是把所有东西都压缩成 prompt 文本。

对大模型推理与存储优化的启发

第一，优化目标应从“减少 KV bytes”扩展为“减少不必要的数据移动和重计算，同时保持状态可恢复性”。压缩、offload、routing 和 recomputation 并不是互斥技术，而是同一个生命周期决策中的不同动作。

第二，Agent workload 应单独建模。其访问模式包含工具等待、跨轮恢复、branch 和长时间 idle，这些特征会直接改变不同内存层级的最优驻留时间。使用普通 chat trace 得出的缓存结论，不一定能够代表 Agent serving。

第三，跨实例缓存需要 correctness-first 的接口。缓存身份、位置和模型执行配置应该成为显式元数据；否则随着 sparse attention、sliding window、hybrid state 和模型版本增多，静默错误会比 miss 更难诊断。

第四，模型侧产生的紧凑检索表示值得系统研究者关注。ReToken 一类工作说明，模型可以提供比完整 attention 更廉价的相关性线索。如果这种信号稳定且足够早，runtime 才有机会在真正执行高成本 attention 之前完成状态选择和数据准备。

今夜白的观察

今天最值得关注的不是某个单点吞吐数字，而是 “缓存”这个词正在变得不够用了。当推理状态需要跨 GPU、跨进程、跨节点、跨轮次甚至跨 Agent 生命周期存在时，系统面对的已经接近一个状态基础设施问题：缓存只是其中一个物理实现层。

另一个趋势是算法与系统的接口正在前移。过去 runtime 只能看到 token 和 block；现在模型可能暴露 sparse index、retrieval token、attention statistics 或其他中间信号。真正有价值的系统机会不是简单读取这些信号，而是判断它们是否足够稳定、是否能提前产生，以及是否能转换成可执行的数据移动决策。

最后，层级缓存的工程 bug 提醒我们：越复杂的状态管理越需要明确 correctness invariant。未来值得继续跟踪的不只是不同存储层谁更快，而是状态在迁移、压缩、复用和恢复后，系统如何证明它仍然对应正确的请求、位置和模型执行语义。

参考资料

论文与技术报告

• An Internet for the KV Cache: Rethinking Classical Infrastructure Boundaries in the LLM Inference Age
• Practical Online KV Cache Compaction for LLM Agents: An Empirical Study
• SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge
• ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

官方工程材料

• SGLang：DeepSeek-V4 hierarchical cache / sliding-window KV position corruption issue

以上材料均回到论文原文或项目官方仓库核验。本期未使用二手媒体中的性能数字补充一手材料，也未将 GitHub issue 中尚未完成根因确认的问题写成已经证实的框架结论。