# FlashOffloading：用于长上下文 LLM 服务的低延迟 KV 缓存卸载

> 全文为英语

**Published:** 2026年11月6日
**Author:** Xuan Wang, Zhuanhao Wu, Tingzhu Fang, Xushi Li, Sicheng Zhang, Zhenyu Yang, Feng Liu, Zhaohui Fan, Qiang Xie, Huayi Zou, Yuncong Liu, Zeyu Song, Ke Zhu, Yanjia Zeng, Jingchun Gao, Yan Shi, Kui Luo, Gezi Li, Liangjun Feng, Cheng Li
**Source:** arXiv — cs.AI
**Language:** en-US
**HTML:** https://aiqazaqstan.com/zh/articles/flashoffloading-low-latency-kv-cache-offloading-for-long-context-llm-ser

arXiv:2611.07542v1 公告类型：新 摘要：在大型语言模型（LLM）服务系统中，键值（KV）缓存随着序列长度和并发度线性增长，因此长上下文推理很容易触及高带宽内存（HBM）容量墙并导致低…

> 内容来自原始来源： **arXiv — cs.AI**
> [在 arXiv — cs.AI 阅读全文](https://arxiv.org/abs/2611.07542)

**标签：** #arXiv

---

*AI Qazaqstan — non-commercial informational portal about AI in Kazakhstan. Machine translations and summaries are AI-generated.*