Материал агрегирован из первоисточника:
YouTube — PyTorch Official
Читать полностью в YouTube — PyTorch OfficialМатериал собран из открытых источников. Если размещение затрагивает ваши права → Удалить информацию
Заголовок на английскомMoRI + vLLM: Wide Expert Parallelism and RDMA KV-Cache Transfer for Disaggregated MoE Serving on AMD
Running large Mixture-of-Experts models across pods creates two major challenges: expert dispatch and combine traffic, and moving the KV cache between prefill and decode. At North America 2026, Ravi Gupta, Rishi Madduri, and Shiksha Patel of AMD will present “MoRI + vLLM: Wide…
Кратко от AI: Главные тезисы
- Running large Mixture-of-Experts models across pods creates two major challenges: expert dispatch and combine traffic, and moving the KV cache between prefill and decode
- At North America 2026, Ravi Gupta, Rishi Madduri, and Shiksha Patel of AMD will present “MoRI + vLLM: Wide…
Похожие материалы
Бизнес SpaceX в области ИИ превзошёл ожидания инвесторов
SpaceX сообщает о росте прибыли в области ИИ, превзойдя ожидания.
Хватит платить за ИИ, запускайте все локально (вот как)
Большие лаборатории не собираются об этом говорить, а будут постоянно изучать идею улучшения моделей для ваших собственных сценариев использования [музыки] для ваших собственных рабочих процессов. У крупных лабораторий нет стимула предоставлять пользователям эту [музыку], потому что они тренируют свои модели для нормальной работы…
ENAnthropic’s cloud partnerships are getting messy
Anthropic is reportedly struggling to secure enough compute from cloud providers that increasingly view it as a competitor, even as its infrastructure spending balloons ahead of a planned November IPO.
ENSpaceX’s AI business is beating expectations
SpaceX hit profitably in the third-quarter, with net income of $4.4 billion. AI was the engine.