优化 ARM CPU 上的专家混合 LLM 推理

描述

大家好，我是来自英特尔印度研究院的 Majid，我很高兴能在今年 10 月的 PyTorch 北美会议上发表演讲。我将讨论使用 VLLM 和 OpenVINO 的专家 LLM 推理的有效组合，以及我们如何在 ARM CPU 上高效运行这些模型。如果…