文章 · 今夜白的知识宫殿

类别

标签

显示 46 篇内容

Report

每日技术报告｜2026-08-27：KV 压缩的成本边界、Agent Trace 自动机与模型内部工作空间

聚焦 KV 压缩与张量并行的成本权衡、Agent 执行轨迹的有限状态建模、条件记忆路由，以及 OpenAI 沙箱逃逸事件带来的 Agent 基础设施安全边界。

2026年8月27日 · 4168 字 · 约 11 分钟每日技术报告 AI Infra daily brief KV Cache LLM Inference Agent Agent Trace Interpretability AI Safety

Report

每日技术报告｜2026-08-26：Agent 记忆从“检索”走向生命周期、安全边界与可复用 KV

聚焦 InjecMEM、双层 Agent 记忆、ReCache、Agent Externalization，以及 SGLang v0.5.18 的推理工程变化。

2026年8月26日 · 3530 字 · 约 9 分钟每日技术报告 AI Infra daily brief Agent Memory KV Cache LLM Inference Agent SGLang 安全审计

Report

每日技术报告｜2026-08-25：异构模型直接交换 KV、Agent 记忆主动淘汰与 DSA 索引融合

聚焦 XKV 的异构模型 KV 潜空间通信、Weighted Memory Tree 的动态记忆保留，以及 vLLM DSA prefill 索引融合与混合状态缓存一致性问题。

2026年8月25日 · 3617 字 · 约 10 分钟每日技术报告 AI Infra daily brief KV Cache Agent Memory Sparse Attention vLLM Multi-Agent

Report

每日技术前沿｜稀疏注意力走向可部署，Agent 评测转向持久状态（2026-08-24）

聚焦 FlashPrefill V2、稀疏注意力协同微调、Thinkingbox、PolicyGuide、Agent Skill 选择与 SGLang v0.5.18，观察长上下文与 Agent 系统从算法指标走向执行路径和状态语义。

2026年8月24日 · 4281 字 · 约 11 分钟每日技术报告 AI Infra daily brief LLM Serving KV Cache Sparse Attention Agent Systems Agent Memory SGLang Interpretability

Report

每日技术报告｜2026-08-23：前缀亲和路由、可训练稀疏注意力与混合模型显存边界

聚焦 CacheRoute 的前缀亲和路由、KeysAndValues 的稀疏注意力微调，以及 vLLM 混合注意力模型的显存画像问题。

2026年8月23日 · 3364 字 · 约 9 分钟每日技术报告 AI Infra daily brief LLM Serving KV Cache Sparse Attention

Report

每日技术报告｜2026-08-22：Agent 可靠性从单次成功走向状态正确性与因果审计

聚焦 Thinkingbox 的状态化业务工作流评测、Agent 步级信用分配的因果审计、Bounded Agents 的授权链，以及 vLLM 对一等 Agentic Inference 的架构讨论。

2026年8月22日 · 3524 字 · 约 9 分钟每日技术报告 AI Infra daily brief Agent Agent Infrastructure LLM Inference vLLM Agent Security

Report

每日技术报告｜2026-08-21：长程 Agent 的状态管理、经验复用与可观测隐空间

聚焦 FM-Bench、ScienceFlow、长程 AI R&D 评测、MobileMem、OpenViking 与 J-space，观察 Agent 从单轮能力转向长期状态、经验与内部过程管理。

2026年8月21日 · 3971 字 · 约 10 分钟每日技术报告 AI Infra daily brief Agent Agent Memory Research J-space OpenViking

Report

每日技术报告｜2026-08-20：KV 回滚一致性、推理缓存压缩与状态迁移

聚焦近 72 小时的 KV Cache、Agent 状态一致性、长推理缓存压缩、边缘推理状态迁移与 Agent 工作流安全更新。

2026年8月20日 · 3857 字 · 约 10 分钟每日技术报告 AI Infra daily brief KV Cache LLM Serving Agent Systems

Report

每日技术报告｜2026-08-19：KV 传输粒度显式化、PD 协议收敛与 MLA 后端统一

聚焦 vLLM KV offload 的 block/chunk 语义拆分、TensorRT-LLM 分块流水 KV 传输、SGLang PD 协议收敛，以及 FlashInfer MLA 后端重构。

2026年8月19日 · 2988 字 · 约 8 分钟每日技术报告 AI Infra daily brief KV Cache LLM Inference PD Disaggregation vLLM SGLang TensorRT-LLM FlashInfer

Report

每日技术报告｜2026-08-18：高带宽闪存进入推理内存层级，Agent 状态管理与技能检索成为系统问题

聚焦高带宽闪存用于 LLM 推理、确定性 serving、长程研究 Agent 的可恢复状态、Agent Skills 检索瓶颈，以及知识—推理解耦与隐空间检索推理。

2026年8月18日 · 3601 字 · 约 10 分钟每日技术报告 AI Infra daily brief LLM Inference Agent Systems Agent Memory Long Context Latent Reasoning

Report

每日技术报告｜2026-08-17：Agent 前缀保留、分层 KV 传输与多模态状态调度

聚焦 vLLM 的 Agent 前缀保留与 Mooncake 分层 KV 传输、TensorRT-LLM 多模态编码预算，以及 SGLang 的多模态交错执行和 GDN 推测验证优化。

2026年8月17日 · 3434 字 · 约 9 分钟每日技术报告 AI Infra daily brief KV Cache Agent vLLM SGLang TensorRT-LLM 推测解码

Report

每日技术报告｜2026-08-16：Agent 记忆形式化、推理预算反转与 KV 安全边界

聚焦 Agent Memory 的形式化定义、推理 token 预算导致的模型排名反转、KV prefix cache 时序侧信道、内存感知 speculative decoding，以及 J-space 从解释走向安全审计。

2026年8月16日 · 4513 字 · 约 12 分钟每日技术报告 AI Infra daily brief Agent Memory KV Cache Speculative Decoding J-space Interpretability LLM Evaluation

Report

每日技术报告｜2026-08-15：失败恢复变成接口设计，持久记忆开始参与路由

聚焦 DARC 的诊断式 Agent 恢复、Consolidator 的跨上下文持久路由记忆、Avalon-ToM-Bench 的隐状态表征发现，以及 LiveAnimate 的有界检索式 KV Cache。

2026年8月15日 · 2722 字 · 约 7 分钟每日技术报告 AI Infra daily brief Agent Agent Memory KV Cache 长上下文可解释性

Report

每日技术报告｜2026-08-14：跨模型 Latent 通信、长上下文依赖与 Agent 安全边界

聚焦 XBridge 的异构 LLM 隐空间通信、长上下文训练对参数知识的影响、Agentic LLM 安全研究缺口，以及近无损稀疏注意力的新证据。

2026年8月14日 · 3527 字 · 约 9 分钟每日技术报告 AI Infra daily brief LLM Inference Agent Long Context Latent Communication Sparse Attention AI Safety

Report

每日技术报告｜2026-08-13：KV 压缩开始诊断“为什么失败”，可回滚生成重画缓存边界

聚焦 KVDiagnosis、Archer、OasisKV 与 HoloAegis：从 KV 压缩失败诊断、可回滚生成的状态复用，到 speculative lookahead 驱动的稀疏预取与低开销安全状态监测。

2026年8月13日 · 3150 字 · 约 8 分钟每日技术报告 AI Infra daily brief KV Cache LLM Serving Agent 推理加速长上下文

Report

每日技术报告｜2026-08-12：从“预测淘汰”到读取淘汰计划，KV 路由开始显式建模驻留所有权

聚焦 LMCache 的 eviction-aware lazy offload、NVIDIA Dynamo 的 KV residency domain，以及 SGLang 面向 DeepSeek-V4 的 MoE deferred finalize。

2026年8月12日 · 3263 字 · 约 9 分钟每日技术报告 AI Infra Daily Brief KV Cache LMCache NVIDIA Dynamo SGLang LLM Inference MoE

Report

每日技术报告｜2026-08-11：Latent Guard、Agent 隐蔽注入与结构化 KV 生命周期

聚焦 LatentGuard 的可审计隐空间推理、II-Bench 揭示的 Computer-Use Agent 低显著性注入，以及 MemDecay 对 Agent 上下文结构化 KV 生命周期的实证。

2026年8月11日 · 3683 字 · 约 10 分钟每日技术报告 AI Infra daily brief LLM Inference Agent KV Cache Latent Reasoning AI Safety

Report

每日技术报告｜2026-08-10：Serving 框架走向系统栈分化，Agent 基础设施强调可追踪执行

聚焦近 72 小时可核验的一手材料：LLM serving 框架的真实开源采用特征，以及工具型 Agent 在证据、执行轨迹和外部状态管理上的系统设计。

2026年8月10日 · 3326 字 · 约 9 分钟每日技术报告 AI Infra daily brief LLM Inference Agent vLLM SGLang Agent Infrastructure

Report

每日技术报告｜2026-08-09：可恢复 KV 淘汰、推理轨迹协同压缩与 Tensor-as-a-Service

过去 24 小时缺少足够高质量的一手系统材料，本期按规范回退至 72 小时，聚焦 QEvict、ReCo、TensorCast、异构注意力内存可观测性与 Autogrammar。

2026年8月9日 · 3757 字 · 约 10 分钟每日技术报告 AI Infra daily brief KV Cache LLM Inference Agent TensorCast 推理优化

Report

每日技术报告｜2026-08-08：Agent 技能边界、长轨迹审计与层次化隐空间预测

聚焦 Skill-Use、SearchAuditor、Activity Frames、HiLP、Subliminal Learning 与 EdgeXpert，观察 Agent runtime、隐空间训练和边缘推理的新变化。

2026年8月8日 · 3851 字 · 约 10 分钟每日技术报告 AI Infra daily brief Agent LLM Inference Reasoning Interpretability Edge AI

Report

每日技术报告｜2026-08-07：KV Cache 网络化、Agent 在线压缩与可组合技能记忆

聚焦 KV Cache 作为跨实例基础设施、Agent 在线 KV 压缩、参数化技能与文本知识组合，以及长视觉上下文检索的新进展。

2026年8月7日 · 3285 字 · 约 9 分钟每日技术报告 AI Infra Daily Brief KV Cache LLM Inference Agent Memory Agent 长上下文

Report

每日技术报告｜2026-08-06：在线 KV 压缩、可恢复缓存与混合模型状态边界

聚焦 Agent 在线 KV Cache 压缩、Dynamo 持久化 KV 布局、vLLM/SGLang 混合状态修复，以及 Kimi K3 推测解码工程进展。

2026年8月6日 · 3224 字 · 约 9 分钟每日技术报告 AI Infra daily brief KV Cache Agent Memory LLM Inference vLLM SGLang NVIDIA Dynamo TensorRT-LLM

Report

每日技术报告｜2026-08-05：语义寻址推测解码、Agent 生产负载与隐状态审计

聚焦 Oilbird 语义寻址推测解码、GitHub Copilot 生产级 Agent 负载、自演化技能的稀疏反馈规律，以及 LatentGuard 隐状态安全审计。

2026年8月5日 · 4012 字 · 约 11 分钟每日技术报告 AI Infra Daily Brief LLM Inference Agent Agent Memory 推测解码长上下文可解释性 TensorRT-LLM

Paper

ReTopK：在排序前先召回，用历史 Top-K 决策加速长上下文注意力

Wenshuai Yao · Wenyong Zhou · Hanyong Shao · Yizhe Chen · Zhiyuan Ning · Yuannuo Feng · Ru Huang · Kechao Tang

School of Integrated Circuits, Peking University, Beijing, China · Department of Electrical and Computer Engineering, The University of Hong Kong, Hong Kong SAR, China · School of Integrated Circuit Science and Engineering, Beihang University, Beijing, China · arXiv preprint arXiv:2607.27692

解读 ReTopK 如何通过相似 Query 召回历史 Top-K 支持集合，并在紧凑候选集上精确重排，从而降低长上下文稀疏注意力的索引发现成本。

2026年8月4日 · 4418 字 · 约 12 分钟论文 Sparse Attention LLM Inference KV Cache 长上下文推理优化

Report

每日技术报告｜2026-08-04：会话身份进入推理内核、混合状态竞态与 FP8 融合

聚焦 vLLM 会话级身份透传、混合 Mamba 前缀缓存竞态修复、SGLang RMSNorm–FP8 量化融合，以及 Agent Memory 的系统级工作负载特征。

2026年8月4日 · 2942 字 · 约 8 分钟每日技术报告 AI Infra daily brief LLM Inference KV Cache Agent Memory vLLM SGLang Mamba FP8

Report

每日技术报告｜2026-08-03：弹性推测解码、可扩展 KV Cache 与 DSA 索引缓存收缩

聚焦 ECHO 推测解码工程化、vLLM 可扩展 KV Cache、SGLang 长上下文索引融合，以及 llama.cpp 的 GLM DSA 索引缓存优化。

2026年8月3日 · 3049 字 · 约 8 分钟每日技术报告 AI Infra daily brief LLM Inference KV Cache Speculative Decoding vLLM SGLang llama.cpp Long Context

Report

每日技术报告｜2026-08-02：反因果 KV 淘汰、解码侧前缀复用与缓存一致性

聚焦反因果惊讶驱动的 KV 淘汰、SGLang 解码侧 Radix 前缀复用、vLLM KV Offload 流同步，以及 CUDA Graph 内存复用。

2026年8月2日 · 3669 字 · 约 10 分钟每日技术报告 AI Infra daily brief KV Cache LLM Inference SGLang vLLM LMCache CUDA Graph Agent

Report

每日技术报告｜2026-08-01：选择性 KV 传输、语义位置无关缓存与动态宽度推理

聚焦 SmartGen、SemPIC、WIDE、MemHarness 与 Qwen-UI-Agent，分析 KV 数据路径、可复用表示、动态稀疏和 Agent 记忆重构。

2026年8月1日 · 3414 字 · 约 9 分钟每日技术报告 AI Infra Daily Brief KV Cache LLM Inference Agent Memory Sparse Inference Qwen

Blog

AIStor Memory：面向 AI Agent 的企业级长期记忆层

解析 MinIO AIStor Memory 如何统一 Agent 长期记忆、工作空间与凭据，并讨论它与向量数据库、AgentFS 和 MemKV 的区别。

2026年7月31日 · 4101 字 · 约 11 分钟AIStor MinIO Agent Memory Agent Native Knowledge Base AI Infrastructure Object Storage

Report

每日技术报告｜2026-07-31：受控解码、Kimi-K3 FP8 适配与分离式推理工程化

聚焦 DIRECT 的模板化受控解码、vLLM Recipes 中 Kimi-K3 FP8 与 MiniMax-M3 分离式部署进展，以及模型适配走向可复现配方的趋势。

2026年7月31日 · 3909 字 · 约 10 分钟每日技术报告 AI Infra LLM Inference KV Cache vLLM Agent 受控解码量化

Report

每日技术报告｜2026-07-30：Agent 记忆事务化、视觉 Token 几何压缩与持久化状态安全

聚焦 MemTX 的事务化 Agent 记忆、GOTS 的训练无关视觉 Token 选择，以及持久化 Agent 状态中的记忆写入安全问题。

2026年7月30日 · 4541 字 · 约 12 分钟每日技术报告 AI Infra Daily Brief Agent Memory LLM Agent VLM 推理 Token 压缩状态安全

Paper

FlexiCache：利用注意力头的时间稳定性管理分层 KV Cache

Nazmul Takbir · HamidReza Alikhani Koshkak · Nikil Dutt · Sangeetha Abdu Jyothi

Department of Computer Science, University of California, Irvine · Proceedings of Machine Learning and Systems (MLSys 2026)

FlexiCache 根据注意力头的时间稳定性差异，在 GPU 与主机内存间分层放置 KV 页面，降低显存占用、重排开销与在线推理延迟。

2026年7月29日 · 3987 字 · 约 10 分钟论文 KV Cache LLM Inference vLLM Sparse Attention Hierarchical Memory MLSys 2026

Report

每日技术报告｜2026-07-29：MCP 走向无状态协议与 Agent 记忆可靠性评测

聚焦 MCP 2026-07-28 协议的无状态化、缓存语义与多轮请求机制，并分析 Agent 前瞻记忆和长期记忆维护的新进展。

2026年7月29日 · 3363 字 · 约 9 分钟每日技术报告 AI Infra daily brief Agent MCP Agent Memory LLM 协议架构

Blog

Kimi K3 模型架构解析：KDA、AttnRes 与 Stable LatentMoE

从长上下文、深度信息流、稀疏专家和原生多模态四个维度，解析 Kimi K3 的模型架构与推理系统含义。

2026年7月28日 · 3368 字 · 约 9 分钟LLM Inference LLM Architecture Long Context MoE Multimodal Research

Report

每日技术报告｜2026-07-28：按请求选择 KV 层级、动态稀疏 Top-k 与新一代 Attention 后端

聚焦 vLLM 的请求级 KV Offloading 层级过滤、DeepSeek-V4 动态 Top-k 元数据，以及 FlashAttention 4 与 SGLang HPC-Ops 后端进展。

2026年7月28日 · 3462 字 · 约 9 分钟每日技术报告 AI Infra 每日简报 daily-brief KV Cache vLLM SGLang 稀疏注意力推理优化

Report

每日技术报告｜2026-07-27：vLLM P2P KV 二级缓存、MLA 去重与 HiCache 容量修正

聚焦 vLLM 将节点 CPU KV 缓存扩展为通用 P2P 二级层、MLA 共享 CPU 区域去重，以及 SGLang 修正混合滑窗模型的 HiCache 内存核算。

2026年7月27日 · 4011 字 · 约 11 分钟每日技术报告 AI Infra Daily Brief KV Cache LLM Inference vLLM SGLang KV Offload P2P Cache MLA

Report

每日技术报告｜2026-07-26：KV Offloading 完整性、混合状态传输与推测解码工程化

聚焦 vLLM 与 SGLang 在 KV Offloading、Mooncake 混合状态传输、MoE 通信及推测解码路径上的最新工程进展。

2026年7月26日 · 3980 字 · 约 10 分钟每日技术报告 AI Infra Daily Brief KV Cache LLM Inference vLLM SGLang Mooncake 推测解码

Report

每日技术报告｜2026-07-25：ReplaySSM、GLM-5.2 Decode 优化与 FP4 稀疏索引

聚焦 vLLM 的 ReplaySSM 与 GLM-5.2 Blackwell decode 优化，以及 SGLang 面向 DeepSeek V4 的 FP4 稀疏索引器。

2026年7月25日 · 3311 字 · 约 9 分钟每日技术报告 AI Infra Daily Brief LLM Inference KV Cache vLLM SGLang Mamba Sparse Attention FP4

Report

每日技术报告｜2026-07-24：可组合压缩 KV、预算自适应 Agent 记忆与 Decode 数据路径

聚焦 C²KV 的可组合压缩 KV 复用、预算约束下的 Agent 记忆算子选择、注意力引导的记忆精炼，以及 Decode Attention 数据路径优化。

2026年7月24日 · 4479 字 · 约 12 分钟每日技术报告 AI Infra Daily Brief KV Cache LLM Inference Agent Memory 长上下文模型服务

Report

每日技术报告｜2026-07-23：CXL 混合内存、稀疏 KV 复用与 DSA 元数据优化

聚焦 HyMCache 的 CXL 混合内存 KV 复用、LMCache 的跨节点稀疏缓存匹配，以及 SGLang 对 DSA 元数据路径的最新优化。

2026年7月23日 · 4121 字 · 约 11 分钟每日技术报告 AI Infra Daily Brief KV Cache LLM Inference SGLang LMCache CXL Agent Memory

Report

AgentPress 每日技术报告｜KV 复用开始同时优化压缩、组合与分层介质

聚焦 C²KV、HyMCache 与 MXSens：从非前缀 KV 复用、CXL-SSD 混合内存到 W4A4KV4 混合精度量化。

2026年7月22日 · 3517 字 · 约 9 分钟每日技术报告 AI Infra KV Cache LLM Inference CXL 模型量化长上下文

Blog

通过 ChatGPT 与 MCP 发布 AgentPress 博客

记录 ChatGPT 通过 OAuth 连接 AgentPress Control，并使用 MCP 创建、校验和提交博客文章的完整过程。

2026年7月20日 · 2032 字 · 约 6 分钟AgentPress MCP ChatGPT Astro

Report

把一篇技术文章做成 Agent 可复用的知识节点

以一篇文章为单位，整理结构、数据、引用与发布流程，让人和 Agent 都能读、检索和继续工作。

2026年7月11日 · 2889 字 · 约 8 分钟Agent Native Knowledge Base Astro MDX

Daily Brief

每日简报 · 2026-07-10

记录当天值得回看的研究、工程与写作进展。

2026年7月10日 · 28 字 · 约 1 分钟Daily Brief

Note

把尚未成形的想法写下来

Note：写作不是结论的容器，也可以是推理开始的地方。

2026年7月1日 · 43 字 · 约 1 分钟Writing Research

Paper

HitKV：哪些 Token 真正重要？

今夜白 · Collaborators

Chongqing University · Proceedings of the AAAI Conference on Artificial Intelligence

从激活频率出发，理解 KV Cache 重要性评估的一种思路。

2026年3月1日 · 92 字 · 约 1 分钟LLM Inference KV Cache