今日概览

今天最值得关注的变化不是某个单点 kernel，而是**“模型状态”正在成为推理系统和 Agent 基础设施的共同优化对象**。近 24–72 小时的一手材料中，WFM 把 Agent 长期知识组织成同时包含稠密上下文和显式拓扑的 Wiki Graph；JustFit 则把 KV、组件驻留和状态迁移统一到按需物化/释放的本地长上下文运行时；NVIDIA 在新的 Edge Agentic 工作负载上进一步展示了跨 Agent turn 复用 KV 与循环状态的实际收益。

第二条主线来自模型内部分析。Fixed-SAE Track 不再只比较 RL 前后的行为差异，而是固定 SAE 特征方向后追踪表示漂移；另一项形式方法工作则直接追问：一个“可解释替代网络”的解释在输入轻微变化后是否仍然可信。这两项工作共同把可解释性从定性观察推向可比较、可干预、可验证。

需要说明时间范围：本期优先收录 9 月 16 日公开、在北京时间 9 月 17 日进入检索窗口的材料，并补充 9 月 14–15 日仍处于近 72 小时高价值窗口、且此前博客未检索到重复记录的论文。NVIDIA 技术博客发布于 9 月 16 日。没有用更早的旧材料补数量。

重点进展

WFM：把 Agent 长期记忆从“检索文本”推进到可学习的 Wiki Graph

新增点。 WFM: Wiki Foundation Model for Complex Agentic Reasoning 于 2026 年 9 月 16 日提交。它关注的不是普通 RAG 的向量召回，而是 Agent 长期运行时如何表示既有稠密文本内容、又有显式关系结构的知识空间。

解决的问题。 作者认为传统稀疏图表示难以承载复杂 Agent workflow 所需的高语义密度，而把文档、Markdown 链接和多层关系直接组织为 LLM Wiki 后，传统图编码器又面临表达和分布式训练开销问题。WFM 因而定义 Wiki Graph schema，把细粒度结构与连续语义同时保留，并使用 query-conditioned attentive aggregation 进行消息聚合。

系统机制。 值得系统研究者注意的是其 NCCL boundary exchange：作者将静态 partition index 提前固定，并使用 fixed-shape GPU-to-GPU collective，目标是绕过 CPU serialization 和额外 memory copy。论文摘要报告，在五个长期 Agent memory 与 multi-hop reasoning benchmark 上取得较强结果，同时分布式训练加速达到 10.5×。这里的 10.5× 是作者在其集群实验中的报告值，并不意味着所有图记忆系统都能获得同等加速。

为什么重要。 Agent Memory 的优化边界正在从“选哪个 embedding、用哪个向量库”扩展到表示格式、图拓扑、训练通信和检索执行路径的协同设计。它也提示未来 Agent 存储接口可能需要同时暴露语义内容与关系结构，而非只提供扁平 chunk。

JustFit：24 GiB 本地设备上的 200K Token 状态管理

JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management 于 9 月 15 日提交。论文针对本地长上下文推理中“权重之外的执行状态也挤占内存”这一问题，提出 MLX-based runtime，并组合三个机制：KVExec 负责压缩 KV execution，PhaseSwap 管理不同组件的驻留阶段，StateTrans 负责状态保持的 serving transition。

作者在 24 GiB M4 Pro MacBook、Qwen3.8-27B MXFP4 上报告：三次完整容量测试均完成 196,608 input + 16,384 output token，单请求完成位置从 mlx-vlm baseline 的 30,720 提升到 212,992，即 6.93×；另一个双请求实验累计保留 229,376 positions。独立性能实验中，32K input + 64 output 达到 19.11 token/s；重复 32K+6K workload 的 median peak process footprint 为 16,374 MiB。

这篇论文的价值不只是“在 Mac 上跑更长上下文”。它把 KV 压缩、组件生命周期和状态迁移放在同一个运行时控制面里，说明长上下文容量问题越来越像一个状态 working-set 管理问题。限制也很明确：当前证据集中在 MLX、Apple M4 Pro 和单一模型配置，不能直接外推到 CUDA 数据中心部署；其容量测试与吞吐测试也是分开的，不能把最大上下文容量等同于高吞吐生产性能。

Fixed-SAE Track：RL 到底改变了模型内部什么

What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track 于 9 月 14 日提交。传统做法若分别为 base model 与不同 RL checkpoint 训练 SAE，特征方向本身会变化，因此“某个 feature 变强/变弱”的跨 checkpoint 比较并不严格。

Fixed-SAE Track 的关键做法是：对 base model 与所有 RL checkpoints 的 activation pooling 后，每个目标层只训练一个共享 SAE，随后固定 feature directions，再观察不同 checkpoint 上这些 latent 的激活变化。作者在多数据集、多 RL 算法实验中报告，RL 引起的表示漂移总体较小、渐进、概念特异，并更多集中在后层；变化主要表现为少量 ladder tokens、step break、answer delimiter 等格式与推理脚手架特征的采样率增强，而不是大规模重写问题内容表示。

更值得注意的是干预实验：作者称把这些特征 steering 回 base model，可恢复约 80% 的 RL 性能增益。这支持“RL 很大程度上是在激发现有能力”这一解释，但它仍是特定模型、数据与训练设置下的实验证据，不能推广成 RL 的普遍定理。对训练后优化研究而言，这提供了一种比最终 benchmark 分数更细的诊断坐标系。

可解释性开始要求形式化 faithfulness 保证

The Misery of Mechanistic Interpretability: A Formal Perspective 同样于 9 月 14 日提交。作者关注 interpretable replacement networks（IRNs）的一个基础问题：解释网络在 clean input 上看似 faithful，并不意味着输入发生语义上很小的扰动后，主导的可解释 feature 仍保持一致。

论文在 GPT-2 small、Gemma 2 2B、Gemma 3 1B、Llama 3.2 1B 和 R1-Distill-Qwen 1.5B 五个 open-weight model family 上观察到，小扰动可以翻转 dominant IRN features。随后作者引入 reachability analysis，为 adversarial scenario 下的 faithfulness gap 给出 sound upper bound，并通过 verification-aware training 收紧该认证边界。作者将其描述为面向 LLM mechanistic interpretability 的首类形式保证。

这项工作的研究意义在于：安全审计不能只问“这个 feature 能不能被人命名”，还必须问“这个解释在多大输入邻域内仍然成立”。对于依赖 SAE、transcoder 或替代网络进行内部监控的方案，解释稳定性本身也需要成为被测对象。

深度分析

Agent serving 的缓存对象已经不再只有 KV

NVIDIA 9 月 16 日发布的 TensorRT Edge-LLM MLPerf Edge Agentic 技术说明 给出了一个很具体的 Agent workload：20 个 conversation、1,007 个生成 turn，输入随工具调用不断增长，最长约 23.5K token。TensorRT Edge-LLM 在单台 Jetson AGX Thor、Qwen3.6-27B 上报告 52.33 token/s，完成性能 workload 用时 24 分 36 秒；其 llama.cpp reference run 为 2 小时 37 分，官方给出的端到端时间比为 6.4×。

真正有系统含义的是优化组合。Qwen3.6 是 hybrid architecture，因此 runtime 不只是恢复 attention KV pages，还恢复 recurrent state 与 partial KV-page state，然后只 prefill 新 suffix。NVIDIA 报告该 workload 中约 96% prompt tokens 由 hot cache 服务，13.6M prompt tokens 中仅约 0.5M 需要重新 prefill。这比普通 Chat 的 prefix cache 更接近“跨 Agent turn 的复合状态恢复”。

解码侧则采用 tree-based MTP：配置为 8 个 draft steps、每层 top-2、16-node verification tree。NVIDIA 报告，相比 3-step linear MTP，这一配置在该 function-calling workload 上额外带来约 40% decoding performance gain。同时使用 NVFP4 权重/激活和 FP8 KV cache。这里需要严格限定：6.4× 是特定硬件、量化、runtime 和 benchmark 配置相对公开 llama.cpp reference 的整体结果，不能归因于单一缓存机制；40% 也只针对该 workload 的 tree-MTP 对比。

从 WFM、JustFit 到 Edge Agentic：状态开始分层、分类型、分生命周期

三项材料放在一起看，出现了一个一致趋势。WFM 处理的是跨任务长期存在的外部知识状态；JustFit 处理单次长上下文执行期间的 KV、组件与迁移状态；TensorRT Edge-LLM 则处理多轮 Agent trajectory 中可恢复的 attention KV、recurrent state 和 speculative state。它们的时间尺度和存储形式不同，但都不再把“上下文”简单等价为一段 token 文本。

这意味着推理框架未来更可能需要显式描述 state identity、lifetime、reusability 和 restore cost。对 hybrid model 尤其如此：KV cache 只覆盖 attention channel，循环状态可能携带另一类历史信息。如果 runtime 仍把所有状态都塞进“prefix cache”这一单一抽象，调度、迁移和失效策略会越来越难表达。

开源项目的重要新闻

本期没有为了凑数罗列普通 Release。近 24 小时检索到最有架构意义且有完整一手说明的是 TensorRT Edge-LLM 的 MLPerf 配置。NVIDIA 已公开 release/0.9.1-mlpinf 分支，技术博客明确说明其中包含 model export、TensorRT engine build、server configuration 与 MLPerf client configuration；同时给出了校准后的 Qwen3.6-27B NVFP4 checkpoint 和 MLCommons endpoint harness 的复现实验入口。

当前状态属于已有可复现分支和配置的 benchmark implementation，不是只有 RFC。其限制是部署路径高度绑定 Jetson AGX Thor、Blackwell 支持的 NVFP4、对应 Qwen3.6 hybrid state，以及特定 SingleStream benchmark 设置；因此更适合作为 Agent workload 优化机制的工程证据，而不是通用 serving 性能排名。

前沿概念和技术

今天最值得单独提炼的概念是 hybrid model state reuse。在纯 Transformer 中，跨轮复用通常围绕 KV page；在 attention + recurrence 的 hybrid model 中，可恢复状态至少包含 attention KV、recurrent state，甚至 partial page 与 speculative decoding state。NVIDIA 的公开实现说明已经把这种复合状态用于真实 Agent benchmark，而 JustFit 则从另一个方向强调 state-preserving transition。

另一个概念是 verifiable interpretability。Fixed-SAE Track 解决“跨训练阶段的 feature 坐标系不一致”，形式验证工作解决“解释在输入扰动下是否仍 faithful”。二者分别对应时间轴上的稳定性与输入邻域中的稳定性。可解释性若要进入持续监控和安全审计，这两类稳定性可能都比单次可视化更关键。

对大模型推理与存储优化的启发

第一，缓存系统的对象需要从 KV block 扩展为 typed state。attention KV、recurrent state、draft/speculative state、外部 Agent memory 的重建代价、可共享范围和一致性要求都不同，统一管理不等于统一格式，而是需要统一生命周期与代价模型。

第二，Agent workload 的高复用来自 trajectory 结构，而不只是“两个 prompt 恰好前缀相同”。工具调用会不断追加 suffix，但绝大部分历史保持不变；NVIDIA 在公开 workload 上报告的约 96% hot-cache prompt-token 比例说明，这类 session locality 可以非常强。生产系统的关键问题因此会转向：状态保留多久、跨空闲间隔如何恢复、何时迁移到更低层级，以及 hybrid state 如何保持一致。

第三，长上下文容量优化正在从单一压缩算法转向执行期协同。JustFit 的结果表明，压缩 KV 只是其中一部分；组件 residency 和 state transition 同样决定峰值 footprint。对数据中心 serving，这一思想可能映射到 HBM/DRAM/NVMe 的 working-set 管理，但具体收益仍需要真实 GPU/多请求负载验证。

第四，模型内部状态也可能成为系统观测信号，但必须谨慎。Fixed-SAE Track 显示 RL 后变化集中于少量可解释 latent 的可能性，而形式验证工作提醒：如果这些 latent 对微小输入扰动不稳定，直接拿它们做 runtime policy 或安全告警会引入新的脆弱性。

今夜白的观察

今天的材料把一个趋势变得更清楚：Agent 系统正在迫使 serving runtime 重新定义“状态”。过去框架围绕 token、request 和 KV cache 组织执行；现在长期记忆、hybrid recurrent state、跨 turn prefix、speculative state 都开始进入同一个性能关键路径。真正值得继续跟踪的，不只是“缓存命中率还能提高多少”，而是框架是否出现稳定的 state identity、restore、invalidate、move 和 share 接口。

另一个值得持续观察的方向是可解释性与系统监控的结合。当前论文已经能用共享 SAE 跟踪 RL checkpoint，也开始为解释 faithfulness 提供形式边界，但距离生产级在线监控仍有明显距离：feature extraction 本身的成本、跨模型版本漂移、扰动鲁棒性、误报率都还没有被统一解决。短期内，它更适合作为训练和审计工具，而不是直接成为高频 serving 控制信号。

参考资料

论文

• Junnan Dong et al., WFM: Wiki Foundation Model for Complex Agentic Reasoning, arXiv:2609.18182，2026-09-16。
• Yuhua Chen, JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management, arXiv:2609.17475，2026-09-15。
• Lingheng Du et al., What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track, arXiv:2609.15064，2026-09-14。
• Tobias Ladner, Matthias Althoff, The Misery of Mechanistic Interpretability: A Formal Perspective, arXiv:2609.15533，2026-09-14。

官方技术材料与代码

• NVIDIA Developer Blog, TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor，2026-09-16。
• NVIDIA, TensorRT Edge-LLM release/0.9.1-mlpinf。
• MLCommons, Inference endpoint benchmark。