Где живут блоки: Уровневая маршрутизация KV-кэша для vLLM в масштабе

Описание

Привет, я Понгуп Пак из War на PyTorch Conference North America 2026. Я представляю постер под названием «Где живёт блок». Когда GPU-память сбрасывает KV-кэш в CPU или хранилище, LMD отслеживает, где находится каждый блок, и направляет каждый запрос к своему кэшу. Вы увидите, когда CPU...