块的归宿:面向 vLLM 大规模部署的分层感知 KV-Cache 路由
大家好,我是来自 War 的 Pongup Pak,在 2026 年北美 PyTorch 大会上发言。我将展示一张名为《块在哪里》的海报。当 GPU 内存将 KV 缓存迁移到 CPU 或存储时,LMD 会追踪每个块的位置并将每个请求路由到其缓存。你将看到当 CPU...
YouTube — PyTorch Official作者: PyTorch2026年10月20日 (17小时前)
提供 4 种语言版本AI 摘要:要点
- 大家好,我是来自 War 的 Pongup Pak,在 2026 年北美 PyTorch 大会上发言。我将展示一张名为《块在哪里》的海报。当 GPU 内存将 KV 缓存迁移到 CPU 或存储时,LMD 会追踪每个块的位置并将每个请求路由到其缓存。你将看到当 CPU...
相关文章
Sam Altman 透露了 OpenAI 的最终计划(太疯狂了)
ChatGpt 背后的公司 OpenAI 的首席执行官 Sam Alman 刚刚告诉自己的员工,整个人工智能竞赛只有三种方式可以结束。这些结局之一是一家公司变得如此强大,以至于它可以真正融化其他所有人的 GPU。这不是一个……
YouTube — The AI Grid
RUСтартап Electric Plant создает ИИ для общения с растениями
Стартап Electric Plant создает ИИ, который интерпретирует электрические сигналы растений.
SMNTCN (Semanticon) — глобальные новости ИИ
Research1 分钟
RUОбеспечение идентичности ИИ-агентов с помощью X.509 PKI на AWS
AWS Machine Learning описывает важность X.509 PKI для ИИ-агентов.
SMNTCN (Semanticon) — глобальные новости ИИ
RUКанадские организации получают доступ к моделям OpenAI на Amazon Bedrock
Канадские организации теперь могут использовать модели OpenAI через Amazon Bedrock.
SMNTCN (Semanticon) — глобальные новости ИИ
