PyTorch 为新型加速器打开了 AI 生态系统

По сообщению IBM Research, в октябре 2025 года IBM и Фонд PyTorch представили план по углублению интеграции Spyre в 2026 году, предполагая использование ускорителя в качестве основного бэкенда PyTorch и поддержку многократного планирования ускорителей. Последние обновления программного обеспечения подтверждают это обещание. В совокупности, torch-spyre, плагин vLLM для Spyre, улучшения компилятора и работа по непрерывной интеграции упрощают перенос привычных моделей и рабочих процессов на новый класс аппаратного обеспечения для ИИ. ИИ все чаще внедряется в системы, которые обрабатывают транзакции, выявляют мошенничество, анализируют заявки и помогают сотрудникам. С увеличением использования экосистема аппаратного обеспечения для ИИ расширяется. Графические процессоры (GPU) остаются центральными для современного ИИ, но к ним все чаще присоединяются ускорители с различной архитектурой, моделями выполнения и характеристиками производительности. Предоставление разработчикам большего выбора требует не только создания новых чипов, но и того, чтобы программная экосистема делала новые ускорители удобными для использования, не заставляя разработчиков отказываться от привычных моделей, инструментов и рабочих процессов. Spyre является ускорителем ИИ с потоковой передачей данных, оптимизированным для вывода. Он предназначен для корпоративных команд, работающих с ИИ вместе с их приложениями и данными на системах IBM Z, LinuxONE и Power. Его вычисления с пониженной точностью хорошо подходят для работы с матрицами в генерации языка и моделях встраивания. В отличие от обычного GPU, который выполняет ядра как потоки инструкций через запланированные группы потоков, Spyre инициирует вычисления по мере поступления данных на его вычислительные движки. PyTorch обеспечивает общий уровень, который позволяет этой другой архитектуре участвовать в экосистеме, в значительной степени построенной вокруг GPU. В центре этого усилия находится torch-spyre, бэкенд PyTorch, который компилирует обычный код PyTorch в исполняемый план для Spyre. Большая часть логики модели проходит через компилятор PyTorch без изменений. Когда модель содержит операцию, которую базовый стек еще не может эффективно обработать, адаптер может заменить ее математически эквивалентной формой, которую компилятор может обработать. Вычисления модели остаются прежними, в то время как ее реализация становится совместимой с ускорителем. Переход к бэкенду Inductor PyTorch также уменьшил объем пользовательского кода компилятора, который команде необходимо поддерживать. Получившийся компилятор примерно в семь раз меньше системы, которую он заменил, и значительно менее сложен по функции. Эта меньшая площадь поверхности упрощает перенос улучшений из PyTorch в torch-spyre и сосредоточение работы, специфичной для Spyre, там, где это действительно важно. Тот же принцип применяется на границе устройства. В недавней демонстрации перемещение построения графа с пути передачи данных улучшило производительность Granite 3.3 8B при размере пакета 1 и длине последовательности 1024 на 9,9% для предварительной загрузки и на 13,6% для декодирования. Удаление этой работы из распределения вычислений также увеличило общее улучшение до 1,7 раза быстрее предварительной загрузки и 2,4 раза быстрее декодирования, при этом примерно три четверти прироста пришлись на путь вычислений. Spyre является ускорителем вне дерева, а не одной из платформ GPU, наиболее часто поддерживаемых программным обеспечением ИИ. Spyre полагается на TorchDynamo для трассировки графа модели и TorchInductor для преобразования этого графа в представления, оптимизированные для целевого аппаратного обеспечения. Внутри vLLM механизмы расширения, такие как CustomOp и PluggableLayer, позволяют аппаратному плагину настраивать поведение без повторной реализации больших частей программного стека. Сохранение этих точек расширения имеет значение по мере эволюции vLLM. Некоторые новые реализации моделей становятся все более специализированными для конкретных моделей и передового аппаратного обеспечения GPU. Чтобы сохранить переносимость наряду с этой оптимизацией, сообщество vLLM разрабатывает аппаратно-агностические слои, которые изолированы от путей, специфичных для аппаратного обеспечения, и предназначены для компиляции, расширяемости и переносимости между платформами ускорителей. Ранняя поддержка уже появилась в vLLM, и путь был подтвержден с помощью плагина Spyre на моделях, включая Gemma 4, Qwen3 и Granite 4.2. На графических процессорах NVIDIA H100 эти аппаратно-агностические слои обеспечили общий токеновый пропуск в пределах 3,4% от нативной реализации, измеренной как геометрическое среднее по трем последним моделям. Для пользователей IBM Z, LinuxONE и Power11 предполагаемый опыт является простым: получать модели из экосистем, таких как Hugging Face, и использовать практически те же рабочие процессы на основе PyTorch, которые они использовали бы с графическими процессорами Nvidia. Общие точки расширения PyTorch скрывают большую часть архитектурных различий под фреймворком, уменьшая трение при принятии и избегая опыта, ограниченного небольшим каталогом специально упакованных весов модели. Рассмотрим рабочий процесс обработки страховых заявлений, который сочетает модели XGBoost для выявления мошенничества с моделью Gemma 26B на Spyre для судебно-медицинского анализа. Программный стек позволяет разработчикам собирать рабочий процесс, используя привычные экосистемы моделей и интерфейсы фреймворка, в то время как аппаратное обеспечение выбирается в зависимости от работы, для которой оно подходит. Интеграция Spyre с PyTorch также позволяет ему подключаться к llm-d. llm-d выполняет распределенный вывод на основе vLLM и создан для поддержки нескольких типов ускорителей, а не одного аппаратного пути. vLLM достигает каждого ускорителя через PyTorch: как только устройство имеет работающий бэкенд PyTorch, аппаратный плагин vLLM может открыть его, и затем llm-d может запланировать на него работу. Spyre следует этому пути. torch-spyre предоставляет бэкенд PyTorch, а плагин Spyre vLLM строится на его основе. В результате работа, которая делает Spyre устройством PyTorch, является той же работой, которая делает его пригодным для развертываний llm-d. Широкая совместимость полезна только тогда, когда пользователи имеют четкие доказательства того, что модели надежно работают на разных платформах. Инженеры IBM Research создают эти доказательства с помощью комплексного тестирования моделей и непрерывной интеграции. Эта работа помогает команде обнаруживать, когда изменения в рамках верхнего уровня влияют на поддержку аппаратного обеспечения в нижнем уровне. Комплексное тестирование моделей критично, поскольку сбои могут возникать из комбинаций операций, форматов, компоновок, числовых диапазонов и поведения компилятора, которые изолированные модульные тесты не выявляют. Запуск реальных моделей против доверенных ссылок на CPU или GPU превращает каждую модель в тест совместимости и зонд для укрепления платформы. Это также дает разработчикам более четкие сигналы о том, какие модели и конфигурации ускорителей были протестированы вместе. Во второй половине 2026 года IBM, Red Hat и их партнеры в Фонде PyTorch, включая Meta и Hugging Face, выпустили новые обновления программного обеспечения, охватывающие включение моделей с первого дня, аппаратно-агностичные модели в vLLM, непрерывное регрессионное и релизное тестирование и интеграцию с нативными устройствами. Новая демонстрация на фронтенде и бэкенде компилятора объясняет больше о стеке. В совокупности, этот массив работ показывает, как адаптеры моделей, пути компиляции, интеграция в реальном времени, расширения vLLM и CI/CD объединяются, чтобы поддерживать Spyre в качестве полноценного участника экосистемы PyTorch. Объединив привычные рабочие процессы, переносимые пути компиляции, широкое включение моделей и прозрачную валидацию, IBM помогает сделать выбор аппаратного обеспечения практическим вариантом, а не бременем интеграции программного обеспечения. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.