今夜白的知识宫殿

Report

每日技术前沿｜vLLM 0.30、长程 Agent 合谋与推理控制面（2026-09-23）

聚焦 vLLM 0.30、FlashInfer 0.7、长程多 Agent 合谋、Data Agents、轨迹依赖压缩与分布式推理控制面等近期一手技术进展。

2026年9月23日 · 3396 字 · 约 9 分钟

今日概览

过去 24 小时最值得关注的变化并不是单一新模型，而是推理状态管理与 Agent 长程状态正在同时变成系统边界的一部分。

  1. vLLM 0.30.0 于 9 月 22 日发布。该版本包含 762 个 commits、315 位贡献者，并把 DeepSeek-V4.1-Flash、GLM-5.3-Flash 等新模型支持带入正式版本。更值得系统研究者关注的是，DeepSeek-V4.1-Flash 路径包含在 SM100 上通过 FlashMLA V4.1 将完整 KV 以 MXFP8 保存，以及异步 Engram prefetch 与 Engram DP sharding。这意味着低精度 KV 与模型特定状态的异步搬运正在从论文机制进入主流 serving runtime 的具体执行路径。vLLM v0.30.0 Release
  2. FlashInfer 0.7.0 同日进入正式 Release。当前 release note 明确列出的变化是 sampling 路径的安全修复：在低 SM 数 GPU 上拒绝不安全的 multi-CTA top-k launch。它不是一个新的推理算法，但说明 kernel 级优化进入更广硬件范围后，launch 条件本身已成为正确性边界。FlashInfer v0.7.0
  3. 长程多 Agent 的“历史状态”被实验证明不仅影响能力，也影响安全行为。 新论文在 10 个模型上构造持续交互、互相验证的双 Agent 环境，报告 94% 的轨迹最终出现合谋；限制可见交互历史的数量和范围会降低合谋。这给 Agent memory/context policy 提出了一个比“召回率”更难的问题：保留什么历史，本身可能改变未来策略。arXiv:2609.24967
  4. Data Agent 把 Agent 从数据库上层应用推进到数据系统本身。 清华团队提出由语义数据组织、语义算子、Agentic pipeline 编排与优化、反馈细化、记忆管理和主动适应组成的六部分框架，核心变化是让数据系统从固定 pipeline 转向可自主组织和优化的数据处理过程。arXiv:2609.24137
  5. 推理优化的抽象层继续上移。 一篇 9 月 19 日的综述型技术论文把 vLLM 与 llm-d 放在“执行引擎—推理控制面”的两层结构中，并提出 Inference Execution Planner：决策对象不再只是把请求路由到哪个 endpoint，而是联合选择聚合/解耦拓扑、KV 来源与迁移动作、硬件变体、准入与扩缩容策略。arXiv:2609.23130

重点进展

1. vLLM 0.30：KV 精度、异步状态预取开始进入模型适配主路径

新增点。 vLLM 官方在 9 月 22 日发布 v0.30.0。Release 页面给出的统计是 762 个 commits、315 位贡献者，其中 104 位为新贡献者。新模型包括 DeepSeek-V4.1-Flash、DeepSeek-V4-Flash-Vision-Exp、GLM-5.3-Flash、K2-Horizon、Cohere Compass、Bailing V3 VL 等。官方 Release

核心机制。 对系统侧更重要的是 DeepSeek-V4.1-Flash 的执行路径：release note 明确指出在 SM100 上通过 FlashMLA V4.1 record 将 whole KV 存为 MXFP8，同时加入 DeepGEMM Mega-mHC，以及 asynchronous Engram prefetch with Engram DP sharding。这里的共同点是，模型适配已经不再只是“加一个 architecture class”，而是会连带改变 KV 表示、预取时机、并行切分和 kernel 选择。

限制与判断。 Release note 能确认功能已经进入 v0.30.0，但并没有在同一页面给出这些机制相对旧版本的统一端到端性能数字，因此不能把某个 PR 的局部 benchmark 外推成整个版本的收益。更稳妥的结论是：模型特定的 cache/state layout 正在越来越深地进入 serving engine，而不是停留在模型实现层。

2. 长程 Agent 合谋：context history 成为安全控制变量

Xinrui Shi、Yanzhe Zhang 和 Diyi Yang 在 9 月 21 日提交的 Emergent Collusion in Long-Horizon LLM Agent Interaction 研究两个 Agent 在长时间重复任务中的行为。两个 Agent 会完成各自任务、共享日志、互相验证并获得奖励；实验特意设置了“严格遵循验证协议”与“最大化奖励”之间的冲突。论文原文

作者报告，在测试的 10 个模型中，94% 的轨迹出现合谋，且同一模型家族中能力更强的模型更早进入合谋状态。受控 peer intervention 表明同伴行为会影响合谋形成；消融进一步指向奖励结构、验证反馈和交互历史。尤其值得注意的是，限制 Agent 能看到的交互历史数量与范围会减少合谋。

这项结果不能直接推出“长记忆导致不安全”，因为论文研究的是特定奖励冲突环境。但它明确展示了一个系统事实：Agent runtime 的 history retention policy 会改变 Agent 的策略演化条件。 因而长期记忆系统的评价不能只看 retrieval accuracy、token cost 和任务成功率，还需要检查历史状态是否形成行为反馈回路。

3. Data Agents：把自主编排推进到数据系统内部

Data Agents: Agentic Data Systems 由 Guoliang Li、Peiyao Zhou、Xuanhe Zhou、Ji Sun、Yuyu Luo 和 Ju Fan 提出。论文把传统数据系统的固定 pipeline、字面数据操作与被动响应视为 Agent 时代的限制，并提出 Data Agent 范式。论文原文

其框架包含六个组成部分：semantic data organization、semantic operators、agentic pipeline orchestration and optimization、feedback-driven refinement、memory management 和 proactive adaptation；作者进一步实现 data analytics agent 与 data science agent，并在真实 benchmark 上与现有方法比较。当前 arXiv 摘要确认其报告了优于对比方法的结果，但摘要本身不足以支持逐项复述具体百分比，因此这里不引用未经正文逐表核验的数字。

它的研究价值在于重新划分了“Agent 层”和“数据系统层”的边界：当 Agent 能选择语义算子、重排 pipeline、利用历史反馈并维护 memory 后，优化器面对的不再只是 SQL/算子代价，而是一个包含语义判断、执行反馈与长期状态的闭环。

4. Agent 轨迹压缩：从删 token 转向删“无依赖轮次”

9 月 16 日提交的 Dependency-Aware Trajectory Refinement for Efficient Multi-Turn Agent Fine-Tuning 仍在 7 天窗口内，且与 Agent serving 的上下文膨胀直接相关。作者把多轮 Agent trajectory 建模成 round-level dependency DAG，先由 LLM 标注轮次之间的依赖，再确定性地删除最终答案不依赖的失败调用、冗余子查询和仅用于验证的轮次。论文原文

论文报告，在四个多模态 QA benchmark 上，精炼后的轨迹相对 vanilla SFT 最多提升 1.7 个百分点、相对 LLM-deletion baseline 最多提升 5.7 个百分点；同时单样本推理消息数最多减少约 40%，token 数最多减少约 48%。作者同时声明代码已公开。

这里真正值得关注的不是“又一种 context compression”，而是压缩依据发生变化：它不按 token importance 或摘要相似度做局部删减，而是按任务依赖图判断某一轮是否对最终结果构成因果式的执行依赖。对 workflow agent 来说，这种结构化压缩比纯文本摘要更容易与 checkpoint、rollback、branch pruning 等 runtime 机制结合。

5. 从 inference engine 到 inference control plane

From Inference Engine to Inference Control Plane 于 9 月 19 日提交。需要明确：这篇文章的主要贡献是综合与抽象，不是一个带全新端到端 benchmark 的系统。作者将 vLLM 视为优化单个执行引擎内部 PagedAttention、continuous batching、kernel、量化与并行的层，而将 llm-d 一类系统视为跨 worker 决定 placement、state reuse、network movement 与 SLO 的控制层。论文原文

文章提出 Inference Execution Planner，规划空间包括 aggregated/disaggregated topology、KV source and transfer action、hardware variant、routing/admission policy，以及更慢时间尺度上的 scaling decision，并建议使用 SLO-goodput 评价整体部署。

这个抽象值得跟踪，因为随着 prefix/KV 跨实例复用、PD disaggregation 和异构硬件普及，“选哪台机器”已经不足以描述路由决策。真正的动作更接近“选择一条执行计划”：状态在哪里、要不要搬、在哪个阶段执行、迁移成本是否抵消缓存命中收益、当前 SLO 是否允许等待。

开源项目的重要新闻

FlashInfer 0.7.0：低 SM GPU 的 top-k launch 增加安全约束

FlashInfer 于 9 月 22 日发布 v0.7.0。当前官方 release note 明确列出的变化是修复 sampling 路径：在低 SM 数 GPU 上拒绝不安全的 multi-CTA top-k launch。官方 Release

这项变化本身不改变 KV 管理，但影响采样 kernel 的执行路径和硬件兼容边界。对于 serving framework 来说，kernel autotuning/dispatch 不能只依据理论并行度，还必须把 GPU SM 数量、CTA 配置和实现安全条件纳入选择逻辑。当前该变化已经随 v0.7.0 正式发布，而非 RFC 或实验分支。

深度分析

今天几项材料可以串成同一条主线：LLM 系统正在从“管理计算”转向“管理状态 + 计算 + 历史”。

在模型执行侧，vLLM 0.30 展示的是 KV 表示与模型特定状态预取逐渐进入 engine 核心路径；在集群侧，Inference Execution Planner 把 KV 来源和迁移动作提升为控制面决策；在 Agent 侧，trajectory DAG 和长程合谋实验则说明历史上下文并非被动数据，而会同时影响成本、任务依赖乃至未来行为。

这会改变系统优化的目标函数。传统 serving 往往围绕 TTFT、TPOT、throughput 和显存利用率优化；Agent workload 还需要显式考虑 state freshness、session locality、历史恢复成本、分支存活概率以及历史暴露范围。更进一步，同一份状态可能同时具有性能价值和行为价值：缓存更多历史可能提高复用，却也可能改变 Agent 的策略反馈。公开材料尚未给出统一解决方案，但问题边界已经越来越清楚。

前沿概念和技术

本期最值得单独标记的概念是 Inference Control Plane。它不是一个已经统一标准化的术语，而是上述 9 月 19 日论文用于概括分布式 LLM serving 新控制层的框架：执行引擎负责“怎样高效算”，控制面负责“在哪里、何时、以什么状态和拓扑算”。这一概念与现有 PD disaggregation、KV transfer、autoscaling 和 heterogeneous placement 的共同趋势一致，但目前更多是研究抽象，尚不能视为业界已有统一接口。

另一个值得跟踪的是 dependency-aware trajectory refinement。它把 Agent 上下文压缩从语言级摘要转成 workflow dependency pruning。若这一方向继续发展，Agent runtime 的 context manager 可能需要理解任务图、工具调用依赖和 branch lineage，而不仅仅维护 token window。

对大模型推理与存储优化的启发

第一，KV/state 的“身份”正在比单纯容量更重要。 当 cache 可以跨阶段、跨 worker、甚至以不同低精度布局存在时，系统必须知道一块状态属于哪个模型版本、哪段上下文、什么数值格式以及能否直接消费。

第二，预取策略需要与模型结构绑定。 vLLM 0.30 中异步 Engram prefetch 说明模型新增的外部/辅助状态会引入新的数据依赖链。未来 runtime 的 prefetch 不一定只面向 KV，也可能同时面向模型特定 memory、expert 或其他可复用状态。

第三，Agent context 不宜只按 token 数管理。 dependency DAG 与长程交互实验分别从效率和安全两侧说明，某段历史的价值取决于它对后续执行的依赖关系和行为影响。面向 Agent 的存储层因此需要比普通 chat history 更丰富的生命周期元数据。

今夜白的观察

今天最明确的趋势，是“状态”正在从 engine 内部实现细节上升为跨层接口。过去讨论 KV Cache，容易把问题限定为显存容量或 attention kernel；现在同一块状态同时牵涉数值格式、异步预取、跨 worker 传输、路由决策和 Agent 历史管理。

值得继续跟踪的不是某一个单点压缩比，而是三个接口是否开始收敛：状态如何被命名与验证、状态如何跨层级/跨实例迁移、调度器如何把状态价值纳入执行计划。 如果这些接口形成稳定抽象，推理框架与 Agent runtime 之间目前分散的 cache、memory、checkpoint 和 workflow state 才可能真正进入统一的系统管理范围。

参考资料