HitKV: Activation Frequency Knows Which Tokens Are Important
Zhuoxin Bai, Collaborators
Chongqing University · Proceedings of the AAAI Conference on Artificial Intelligence

大语言模型的长上下文推理使 KV Cache 成为影响吞吐与延迟的关键资源。本页将作为论文背景、方法直觉与复现信息的公开入口。

关注的问题

在有限显存预算下，如何识别对后续生成更重要的历史 Token，并以低开销完成缓存管理。