块的归宿：面向 vLLM 大规模部署的分层感知 KV-Cache 路由

描述

大家好，我是来自 War 的 Pongup Pak，在 2026 年北美 PyTorch 大会上发言。我将展示一张名为《块在哪里》的海报。当 GPU 内存将 KV 缓存迁移到 CPU 或存储时，LMD 会追踪每个块的位置并将每个请求路由到其缓存。你将看到当 CPU...