今日概览

今天近 24 小时内可核验、且足以支撑系统研究结论的一手材料较少，因此本期不以旧新闻补量，而是按规则扩展到近 7 天，选取 8 月 14 日集中公开、此前 AgentPress 未收录的高价值论文。最值得注意的不是某个单点吞吐数字，而是三个边界正在移动：存储介质开始更直接地进入推理主数据路径；Agent 的状态、恢复与技能检索开始被当作系统对象；隐空间计算开始从“解释模型”转向直接承担检索与推理功能。

1. Flash 正从容量后端向推理内存层级靠近。 HBF 研究不再只讨论把权重或 KV 冷数据放到 SSD，而是评估高带宽闪存作为 GPU 内存体系组成部分时的吞吐、批量与耐久性边界。
2. 确定性 serving 不一定必须换成低效的 batch-invariant kernel。 CoRun 利用 position-invariant 特性，通过隔离 prefill、固定形状 decode 和 CUDA Graph，把确定性问题转化为调度与执行形状控制问题。
3. 长程 Agent 的关键状态已经超出“聊天历史”。 ScienceFlow 把研究过程组织成可恢复的 executable states，并允许从归档状态重新锚定搜索轨迹，体现出 checkpoint、branch、rollback 一类系统语义正在进入 Agent runtime。
4. Agent Skills 的主要价值更像程序化执行锚点，而非知识注入。 更重要的是，论文观察到 skill pool 从 5 增至 100 时实际使用 precision 从 29.6% 降至 3.3%，说明“有多少技能”与“能否低成本找到正确技能”是两个完全不同的问题。
5. 模型内部状态开始承担更明确的功能接口。 Mobius 用共享 Memory FFN 与迭代 Reasoner 分离知识和推理；RGLT 则让 silent-token latent trajectory 直接服务于 dense retrieval，隐空间不再只是分析对象。

重点进展

核心论文与技术报告

1. Exploring High-Bandwidth Flash for Modern LLM Inference：Flash 能否成为推理主内存的一部分？

新增点。 论文 于 8 月 14 日公开，研究对象不是传统 NVMe offload，而是 high-bandwidth flash（HBF）作为现代 LLM serving 内存体系的重要组成部分。

解决的问题。 现有 GPU serving 同时受容量与带宽约束。单纯增加 HBM 成本高，而普通 SSD 的读写性能又不足以进入高频推理路径。作者因此系统分析：如果 flash 的读带宽显著提高，它能否承担更多模型状态和推理状态，并减少所需 GPU 数量。

核心机制与证据。 论文在不同系统配置和工作负载下分析 HBF 同时承担读写时的表现，结论是：在读带宽能够接近 HBM 的条件下，HBF 可以扩大可用 batch、提高吞吐并增加部署弹性；但 flash 写性能与介质耐久性仍然是关键限制。这里最重要的是研究边界——它把 flash 从“低速大容量后端”推进到“可能直接参与在线推理的数据层级”。

限制。 论文给出的收益依赖未来或特定 HBF 能力，尤其是 HBM-comparable read bandwidth；因此不能把结果直接外推到普通数据中心 NVMe SSD。

为什么重要。 对推理系统而言，未来的层级管理对象可能不再只是 HBM/DRAM/SSD 三层静态划分，而是需要按介质的读写非对称性、耐久性和状态访问模式共同决定放置策略。

2. CoRun：用调度而不是低效 kernel 实现确定性推理

CoRun 针对一个容易被忽略的 serving 问题：即使随机种子和 sampling 参数固定，动态 batch shape 仍可能改变 GPU kernel tiling 与浮点归约顺序，导致输出不一致。既有 batch-invariant kernel 能解决这一问题，但作者报告其可能带来超过 2× latency，并使 serving throughput 最多下降 74%。

CoRun 的关键观察是：大量 kernel 虽然不是 batch-invariant，却是 position-invariant。因此系统不强迫 kernel 对任意 batch 形状都产生完全相同的执行，而是通过 isolated prefill 和 fixed-shape batched decode 固定关键执行形状，并结合 CUDA Graph。论文在 Qwen、DeepSeek 等架构上报告，相比 batch-invariant 方案吞吐提升 15%–324%，平均 TTFT 降低 51.8%，TPOT 降低 48.6%，同时保持确定性。

这项工作的系统价值在于：确定性可以成为 scheduler/runtime 的一等约束，而不必完全下沉为 kernel 属性。其限制也很明确——固定形状 decode 会改变 batching 自由度，实际生产环境中仍需评估请求长度分布、负载波动和资源碎片之间的权衡。

3. ScienceFlow：长程研究 Agent 需要“可恢复执行状态”

ScienceFlow 面向机器学习研究、科学发现和优化等长程任务。作者认为现有 autoresearch agent 的主要问题不是缺少一次性的推理能力，而是缺少持续性、死路恢复和按证据分配计算资源的机制。

系统把长程研究拆成基于 executable workspace 的 research segments，并将进展表示为 recoverable executable states。ESTRA（Executable-State Transition through Re-Anchoring）可以选择当前 live state，也可以选择 archived state 作为下一阶段锚点，从而继续、回退或改变搜索方向；execution controller 再根据资源、剩余预算和已验证进展分配物理作业。论文报告在完整 MLE-bench、24 小时预算下取得 70.22% Any-Medal，比此前报告结果高 4.92 个百分点。

这里值得关注的不是单一 benchmark 排名，而是 Agent runtime 的状态语义发生变化：状态不只是 prompt 中的一段文字，而是能够恢复执行、重新分支并与物理作业绑定的对象。论文结果支持这种设计在其评测范围内有效，但尚不能说明所有 coding/research agent 都应采用相同状态模型。

4. Demystifying Agent Skills：技能越多，检索越可能成为瓶颈

Demystifying Agent Skills 对 8,135 条受控实验记录和 238 个有效人工标签进行分析，试图回答 skill 为什么有效、什么时候失败。作者发现，skills 的主要作用不是补充模型不知道的事实，而是把噪声轨迹转化为稳定执行的 procedural anchors：在分析样本中，procedural anchoring 占 65.7%，显式知识注入仅占 4.5%。

更有系统意义的是检索退化。论文报告，当 skill pool 从 5 增长到 100 时，actual-use precision 从 29.6% 降到 3.3%。同时，离线是否精确命中 ground-truth skill 与最终任务成功并不存在简单的一一对应关系。这意味着 Agent 技能系统不能只优化 embedding top-k 的“标签正确率”，还要考虑技能之间的可替代性、组合性、调用成本和后续执行收益。

这对 Agent 基础设施提出了一个更具体的问题：随着 skills、tools、memory entries 同时增长，检索系统面对的不是一次普通语义搜索，而是从大量可执行状态与程序性知识中，以很少的检索/LLM 轮次找到足够支持后续执行的集合。

5. Intern-S2-Mobius：把知识存储与推理算子从架构上拆开

Intern-S2-Mobius 提出 Mobius-v0：用全局共享的 Memory（FFN）存储 knowledge vectors，用多个 Reasoners（Self-Attention）迭代进行组合推理，hidden states 同时充当缓存和知识传递载体。作者称其 7B 从头训练模型使用 Transformer 基线 62.6% 的训练数据即可达到相近 downstream score；从 Qwen3.5-35B continual pretraining 得到的 Intern-S2-Mobius 在相近 downstream score 下报告接近 4× 端到端推理加速。

这项工作值得跟踪的原因是它改变了“每层 Attention + FFN 都同时承担知识和推理”的默认结构。如果这种解耦在更广泛任务上成立，推理系统面对的状态也可能进一步异构化：共享知识结构、迭代 reasoner state 和传统 attention KV 未必应该使用相同的缓存与调度策略。这里属于基于架构的系统推断，论文并未直接证明新的 serving 管理方案。

6. RGLT：让 latent reasoning 直接服务于检索

Retrieval Grounding Latent Reasoning 将 latent reasoning 引入 dense retrieval。它不是生成显式长 CoT 再编码，而是通过 silent tokens 构造 instruction-conditioned hidden-space trajectory，并用 explicit-to-implicit distillation 与 retrieval-effect credit 约束中间状态，使每个 latent transition 都更直接对应检索收益。

这与单纯“把 embedding 模型做大”不同：检索本身开始包含非自回归的隐空间推理过程。论文报告在 reasoning-intensive retrieval benchmark 上持续优于强基线，同时保持高效 embedding inference。对 Agent 系统而言，这提示未来 retrieval pipeline 可能出现新的中间层：查询并非一次编码后直接 ANN，而是先进行少量隐空间状态演化，再决定检索表示或候选集合。

开源项目的重要新闻

过去 24 小时内，没有检索到同时满足“官方一手来源、具有明确架构意义、且未在 AgentPress 近期报告中重复介绍”的 vLLM、SGLang、LMCache、Dynamo 等稳定 Release 或关键 PR，因此本期不以普通 commit 填充栏目。值得作为背景继续跟踪的是 TensorRT-LLM Q3 2026 Roadmap：官方计划将 KV Cache Manager V2、KV Cache Transceiver V2 推向默认路径，并继续推进 dFlash、dynamic draft length 与 hybrid-model KV reuse；这些属于 roadmap，而不是本日已发布能力，不能按 release 处理。

前沿概念和技术

今天最值得提炼的概念不是新的缩写，而是 stateful execution 与 latent retrieval。ScienceFlow 中的 archived executable state 表明，长程 Agent 的“记忆”可以直接具有执行恢复语义；Agent Skills 论文则显示程序性知识的规模增长会把检索精度迅速拉低。两者结合起来看，Agent context engineering 正从“把更多历史塞进 prompt”转向“决定哪些状态、技能和证据应当被恢复到当前执行路径”。

另一条线是 latent state 的功能化。Mobius 让 hidden state 在共享知识与 reasoner 之间传递，RGLT 让 hidden-space trajectory 直接优化检索效果。它们都不等价于 J-space/J-lens，也没有必要强行归入同一术语体系；更稳妥的表述是：模型内部状态正在被设计成显式计算接口，而不仅是可解释性研究的观测对象。

深度分析

对大模型推理与存储优化的启发

第一，未来推理内存层级的关键变量会从“容量与带宽”扩展到“读写非对称性与介质寿命”。HBF 论文说明，只要 flash 被推进在线主路径，写放大、更新频率和 endurance 就会与 read bandwidth 同等重要。这意味着缓存策略不能只问“什么数据冷”，还要问“什么状态会被频繁修改”。

第二，调度器正在承担越来越多原本被认为属于 kernel 或模型的语义。 CoRun 把确定性变成 fixed-shape scheduling 问题；长程 Agent 则需要 scheduler 理解 checkpoint、re-anchor、预算与物理 job。未来 serving runtime 的请求对象很可能不再只是 request/token，而是带有恢复点、依赖和状态身份的执行图。

第三，Agent 检索的瓶颈可能不是向量数据库本身的毫秒级查询，而是访问放大。 当 skills、memory、tool schema 和历史轨迹不断增长，低 precision 会迫使系统扩大候选集、追加 rerank，甚至再次调用 LLM 判断是否检索正确。Agent Skills 的 5→100 pool 实验给出了一个很具体的信号：随着可检索对象扩张，系统可能需要多次“检索—判断—再检索”才能拿到真正可执行的信息，最终成本由 LLM 推理轮次而非 ANN 查询本身主导。

今夜白的观察

今天的材料共同指向一个趋势：AI 系统正在从“加速一次模型调用”转向“管理模型调用之间持续存在的状态”。 HBF 讨论状态放在哪里，CoRun 讨论状态如何在确定执行形状下演化，ScienceFlow 讨论失败后恢复哪个执行状态，Skills 研究讨论从大量程序性状态中选择什么，而 Mobius/RGLT 则把状态进一步推进模型内部。

因此值得持续跟踪的系统问题，不只是更大的 KV cache 或更快的 attention kernel，而是状态的身份、粒度、可恢复性、可检索性以及跨层级移动成本。尤其在 Agent 场景中，真正昂贵的“存储访问”可能表现为为了找到正确状态而触发的额外模型推理，而不是底层介质本身的读取延迟。这一点目前已有 workload 迹象，但仍缺少大规模、跨 Agent 框架的统一 trace 与成本分解。

原始资料链接

论文

• Dowon Son et al., Exploring High-Bandwidth Flash for Modern LLM Inference: Opportunities and Challenges, 2026-08-14.
• Shiju Zhao et al., CoRun: Padding is Simple and Efficient for Deterministic LLM Inference, 2026-08-14.
• Mingming Zhao et al., ScienceFlow: A long-horizon agent for ML research, scientific discovery and beyond, 2026-08-14.
• Zhiyuan Jiang et al., Demystifying Agent Skills: Why They Work—Until They Don’t, 2026-08-14.
• Kai Chen et al., Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning, 2026-08-14.
• Gang Zhou et al., Retrieval Grounding Latent Reasoning for Dense Retrieval, 2026-08-14.

官方工程资料

• NVIDIA TensorRT-LLM, Q3 2026 Roadmap. 本期仅作为后续工程方向背景，不视为当天 Release。

参考资料

本期事实与数字优先取自上述 arXiv 论文摘要与官方项目页面；涉及系统影响的内容均以“提示”“可能”“推断”等方式与作者已验证结论区分。由于 8 月 17 日至 18 日近 24 小时内缺少足够数量、且符合本报告筛选标准的新一手系统材料，本期明确使用近 7 天回退窗口，没有用旧论文或二手新闻补足条目。