Материал на языке оригинала: English.

Where the Blocks Live: Tier-Aware KV-Cache Routing for vLLM at Scale

Name: Where the Blocks Live: Tier-Aware KV-Cache Routing for vLLM at Scale
Uploaded: 2026-10-20T04:55:44.000Z
Description: When GPU memory fills up, vLLM offloads the KV cache to CPU or storage. llm-d tracks where every block lives, and sends each request to its cache. At PyTorch Conference North America, Bongwoo Bak from Moreh will present a poster on "Where the Blocks Live." You'll see when CPU is enough, and when shared storage pays off. Join us in San Jose, October 20-21: https://hubs.la/Q04v4SL60

When GPU memory fills up, vLLM offloads the KV cache to CPU or storage. llm-d tracks where every block lives, and sends each request to its cache. At PyTorch Conference North America, Bongwoo Bak from Moreh will present a poster on "Where the Blocks Live." You'll see when CPU is enough, and when shared storage pays off. Join us in San Jose, October 20-21: https://hubs.la/Q04v4SL60

20 октября 2026 г. · Источник: YouTube — PyTorch Official

Смотреть на YouTube →

Ещё в теме

ВидеоКак ИИ компании превращают рынок в $300 млрдYouTube — Armeta Kazakhstan13 часов назад

Видео▪ Всё - это плуг.YouTube — Hugging Face14 часов назад

ВидеоМогла ли МА предсказать кризис на фондовом рынке 5 ноября?YouTube — All About AI21 час назад

ВидеоОн контролирует игровых персонажей и роботовОбмен последними новостями и достижениями в AI Discover More: ▪ Изучение средств и новостей AI: https://futuretools.io/ ▸ Weekly Newsletter: https://futuretools.io/newsletter Socials: ▸ Twiter/X: https://x.com/mreflow . Instagram: https://instagram.com/mr.eflough . На сайте https://www.threads.net/@mr.efloughling . index LinkedIn: https://www.linkin.com/in/matt-wolfe-30841712/ ▸ Facebook: https://www.facebook.com/matrwolfe Letins работает вместе! - Брэнд, спонсорская поддержка и деловые запросы: деловая деятельность@matswolfe.YouTube — Matt Wolfeвчера