Infrastructure1 分钟阅读
标题为英语MoRI + vLLM: Wide Expert Parallelism and RDMA KV-Cache Transfer for Disaggregated MoE Serving on AMD
Running large Mixture-of-Experts models across pods creates two major challenges: expert dispatch and combine traffic, and moving the KV cache between prefill and decode. At North America 2026, Ravi Gupta, Rishi Madduri, and Shiksha Patel of AMD will present “MoRI + vLLM: Wide…
YouTube — PyTorch Official作者: PyTorch2026年10月14日 (6天前)
提供 1 种语言版本AI 摘要：要点
- Running large Mixture-of-Experts models across pods creates two major challenges: expert dispatch and combine traffic, and moving the KV cache between prefill and decode
- At North America 2026, Ravi Gupta, Rishi Madduri, and Shiksha Patel of AMD will present “MoRI + vLLM: Wide…
相关文章
YouTube — Matthew Berman
家庭数据中心 - GB300 GPU - 带 Asus DGX Station (ET900N G3)
大家都在发生什么事，欢迎来到华硕对 Nvidia DGX 站的精彩回顾。他们称之为 ET900N G3，但我将继续简称为 DGX 站或华硕站。我们这里有 748 GB 的相干内存。真是好心……
YouTube — sentdex
块的归宿：面向 vLLM 大规模部署的分层感知 KV-Cache 路由
大家好，我是来自 War 的 Pongup Pak，在 2026 年北美 PyTorch 大会上发言。我将展示一张名为《块在哪里》的海报。当 GPU 内存将 KV 缓存迁移到 CPU 或存储时，LMD 会追踪每个块的位置并将每个请求路由到其缓存。你将看到当 CPU...
YouTube — PyTorch Official
我最喜欢的新图像编辑工具
这是我本周看到的最酷的事情之一。如果您还没有使用过 Core 3，那么您一定要尝试一下。现在，这没有赞助。这只是一个我发现非常酷的人工智能图像编辑工具。所以，检查一下。我可以像 YouTube 缩略图一样上传，...
YouTube — Matt Wolfe