← К видеохабу
YouTube • YouTube — PyTorch Official
Оптимизация заключения экспертов LLM на процессорах ARM
14 окт.
Описание
Привет, меня зовут Маджид из Intel Research India, и я очень рад выступить на конференции PyTorch в Северной Америке в октябре этого года. Я буду говорить об эффективном сочетании заключений экспертов LLM по использованию VLLM и OpenVINO, а также о том, как мы можем эффективно запускать эти модели на процессорах ARM. Если…