Как сообщает издание AWS Machine Learning, использование torchtitan на AWS Trainium позволяет работать с ним так же, как и раньше. TorchNeuron регистрирует Trainium как родное устройство PyTorch, что позволяет torchtitan использовать его через стандартные интерфейсы PyTorch. Эти конфигурации позволяют предварительно обучать модель с нуля или дообучать опубликованные веса. Также возможно настроить реализацию модели и ядра для своей рабочей нагрузки. В этой статье вы обучаете Qwen3 тремя способами на одном экземпляре trn2.48xlarge. Первый метод использует Transformers v5 в качестве бэкенда моделирования в torchtitan. Он запускает модели Hub через AutoModelForCausalLM и читает и записывает опубликованные safetensors напрямую. Второй метод переключается на родной Qwen3 от torchtitan, изменяя config.model_spec. Третий метод добавляет ядра смеси экспертов (MoE) интерфейса ядер Neuron (NKI) из рецептов torchtitan-neuron и затем использует реестр переопределений torchtitan для подключения собственного ядра. Все три конфигурации используют одинаковый шаблон запуска torchrun и структуру конфигурации. Чтобы следовать этому руководству, используйте один экземпляр trn2.48xlarge с любым из AWS Deep Learning AMI для Neuron или контейнером для обучения Neuron PyTorch. Оба окружения предоставляют драйвер Neuron, время выполнения и компилятор, необходимые для обучения на Trainium. Перед установкой torchtitan-neuron проверьте, включено ли оно уже в ваше окружение. Это руководство использует версии, указанные в таблице. Чтобы воспроизвести примеры, зафиксируйте эти версии. Интеграция Transformers v5 и модули переопределения, специфичные для Trainium, могут изменяться между релизами torchtitan. Когда torch_neuronx установлен, TorchNeuron регистрирует Trainium как устройство нейрона, и torchtitan обнаруживает его при запуске. В режиме eager Neuron компилирует операции по мере их выполнения. С torch.compile Neuron компилирует захваченный граф. Для версий, использованных в этом руководстве, установите torchtitan-neuron и остальные зависимости torchtitan с --no-deps, чтобы сохранить сборку Neuron torch. Перед началом обучения получите артефакты модели Qwen3 с Hugging Face Hub. Сохраните их в локальной директории, которую можно передать в конфигурацию обучения. Каждая конфигурация обучения является функцией конфигурации Python. Три примера начинаются с базовой конфигурации, которую вы обновляете на каждом этапе. В первой конфигурации Transformers v5 строит Qwen3 через AutoModelForCausalLM. Определение модели Hub предоставляет реализацию, используемую для прямых и обратных проходов. Вы выбираете модель, устанавливая ее Hub ID в конфигурации. Начните с transformers_modeling_backend_full(). Это оставляет поля, которые соответствуют ключам конфигурации Hugging Face, незаполненными, так что AutoConfig.from_pretrained() загружает архитектуру модели из Hub. Создайте neuron_qwen3.py в корне репозитория torchtitan-neuron, где вы запускаете команду обучения. Добавьте импорты, путь к артефакту модели и базовую конфигурацию. Для дообучения от опубликованных весов включите загрузку контрольных точек и укажите initial_load_path в ASSETS. Адаптер состояния словаря настраивает ведущую модель. prefix и обрабатывает связанные эмбеддинги. Он сохраняет последнюю контрольную точку как Hugging Face safetensors. Используйте потери первого шага обучения как быстрый контроль того, что torchtitan загрузил опубликованные веса. Для Qwen/Qwen3-4B-Instruct-2507 проверенный запуск показал потерю 6.54 на первом шаге от опубликованных весов и 12.43 от случайной инициализации. После обучения загрузите экспортированную контрольную точку с AutoModelForCausalLM и load_state_dict. Успешный круговой запуск сообщает об отсутствии отсутствующих или неожиданных ключей, кроме lm_head.weight, который Qwen3-4B связывает с токенами эмбеддингов. Во второй конфигурации torchtitan строит свою родную модель Qwen3. Добавьте импорты родного Qwen3 и функцию конфигурации в neuron_qwen3.py: этот пример начинается с qwen3_32b(), потому что протестированная сборка torchtitan не предоставляет общего строителя конфигурации qwen3_4b(). Следующая строка заменяет спецификацию модели 32B на 4B. Оставшиеся поля воспроизводят протестированный запуск. В третьей конфигурации torchtitan запускает слои смеси экспертов с ядрами, написанными на NKI, языке ядер Neuron. Добавьте необходимые импорты и функцию конфигурации Qwen3 MoE в neuron_qwen3.py. Эта конфигурация использует разбиение данных по параллелизму среди 64 рангов с параллелизмом тензоров, установленным на 1. Она не использует параллелизм экспертов. num_experts=64 устанавливает количество экспертов в модели, а не степень параллелизма экспертов. Если вы хотите сохранить контрольные точки, скопируйте их на постоянное хранилище перед очисткой. Если вы планируете повторно использовать экземпляр, остановите его. Когда вам больше не нужен экземпляр, завершите его. AWS Trainium работает как поддерживаемое устройство torchtitan во всех трех конфигурациях в этом руководстве. Вы можете обучать Qwen3 через Hugging Face Transformers v5 и загружать или сохранять опубликованные safetensors напрямую. Вы также можете обучать с родной реализацией Qwen3 от torchtitan, установив config.model_spec. Для моделей смеси экспертов используйте рецепты torchtitan-neuron NKI. Для пользовательских ядер используйте реестр переопределений для подключения операторов NKI через тот же поток запуска. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.