Материал түпнұсқа тілінде: English.

Where the Blocks Live: Tier-Aware KV-Cache Routing for vLLM at Scale

Name: Where the Blocks Live: Tier-Aware KV-Cache Routing for vLLM at Scale
Uploaded: 2026-10-20T04:55:44.000Z
Description: When GPU memory fills up, vLLM offloads the KV cache to CPU or storage. llm-d tracks where every block lives, and sends each request to its cache. At PyTorch Conference North America, Bongwoo Bak from Moreh will present a poster on "Where the Blocks Live." You'll see when CPU is enough, and when shared storage pays off. Join us in San Jose, October 20-21: https://hubs.la/Q04v4SL60

When GPU memory fills up, vLLM offloads the KV cache to CPU or storage. llm-d tracks where every block lives, and sends each request to its cache. At PyTorch Conference North America, Bongwoo Bak from Moreh will present a poster on "Where the Blocks Live." You'll see when CPU is enough, and when shared storage pays off. Join us in San Jose, October 20-21: https://hubs.la/Q04v4SL60

2026 ж. 20 қазан · Дереккөз: YouTube — PyTorch Official

YouTube-те қарау →

Осы тақырыптан тағы

ВидеоКомпанияның жасанды интеллектісі ретінде нарықты 300 млрд долларға айналдырадыYouTube — Armeta Kazakhstan13 сағат бұрын

Видео- Бәрі де соқа.YouTube — Hugging Face14 сағат бұрын

ВидеоМА қор нарығындағы дағдарысты 5 қарашада болжай ала ма?YouTube — All About AI21 сағат бұрын

ВидеоОл ойын кейіпкерлері мен роботтарды басқарадыAI Discover More: Ақпарат және жаңалықтарды зерттеу AI: https://futuretools.io/ Weekly Newsletter: https://futuretools.io/newsletter Socials: Twiter/X: https://x.com/mreflow . Instagram: https://instagram.com/mr.eflough . Сайтта https://www.threads.net/@mr.efloughling . index LinkedIn: https://www.linkin.com/in/matt-wolfe-30841712/ Facebook: https://www.facebook.com/matrwolfe Letins бірге жұмыс істейді! - Брэнд, демеушілік қолдау және іскерлік сұраулар: іскерлік қызмет@matswolfe.YouTube — Matt Wolfeкеше