По данным AWS Machine Learning, GPT-OSS-20B представляет собой модель с открытыми весами, которая мыслит на английском языке. Если задать ей вопрос на французском, немецком, испанском или итальянском, она признает инструкцию, но все равно формулирует свои мысли на английском. На тесте на многоязычное мышление из 50 примеров базовая модель правильно отвечала на целевом языке только в 22 процентах случаев. Эти 22 процента в основном составили примеры на английском (100 процентов на английском, 0 процентов на французском, 10 процентов на немецком, 0 процентов на испанском и 0 процентов на итальянском). Для команд, использующих модели мышления для пользователей, говорящих на других языках, этот разрыв имеет значение. Пользователь, задающий вопрос на французском, ожидает, что модель будет рассуждать и отвечать на французском, а не переключаться на английский в середине рассуждения. Закрытие этого разрыва является задачей тонкой настройки. Это поднимает вопрос, с которым сталкивается каждая команда, начинающая настраивать модели с открытыми весами: использовать ли контролируемую тонкую настройку (SFT), обучение с подкреплением с использованием групповой оптимизации политики (GRPO) или оба метода? В этом посте мы расскажем, как мы настроили GPT-OSS-20B для многоязычного мышления на Amazon SageMaker HyperPod. Мы покажем, когда SFT была достаточной, а когда GRPO добавила измеримую ценность. Чтобы понять, когда GRPO помогает более широко, мы также провели контролируемый эксперимент с Qwen2.5-7B по двум задачам с различными пробелами в возможностях. Краткий ответ: SFT выполняет большую часть работы, GRPO уточняет, когда есть возможность для уточнения, а соответствие техники разрыву в возможностях определяет результат. Обзор решения. Этот раздел охватывает задачу многоязычного мышления и набор данных, как SFT и GRPO дополняют друг друга, а также стек обучения, который мы использовали на Amazon SageMaker HyperPod. Задача и набор данных. Набор данных — HuggingFaceH4/Multilingual-Thinking — это набор данных для мышления в цепи, переведенный на французский, испанский, немецкий и итальянский языки наряду с английским, примерно 949 примеров для обучения и 50 для валидации. Модель получает язык мышления: инструкцию от системы и должна как рассуждать, так и отвечать на этом целевом языке, игнорируя свой сильный английский приоритет. Оценка проводится по 50 тестовым случаям: 10 задач по математике/логике на 5 языках (EN/FR/DE/ES/IT). Две метрики важны: корректность языка рассуждения — это цепочка мышления на запрашиваемом языке? Корректность языка ответа — это окончательный ответ на запрашиваемом языке? Как SFT и GRPO сочетаются. Самый ясный способ понять две техники: SFT обучает поведению, которого модель не имеет. GRPO оптимизирует поведение, которое модель уже иногда может производить. GRPO работает, выбирая группу ответов на каждый запрос и подталкивая политику к выше среднего. Если желаемое поведение имеет нулевую вероятность в базовом распределении, GRPO почти нечего усиливать. Эта единственная идея объясняет почти все результаты в этом посте. Стек обучения. Мы использовали Amazon SageMaker HyperPod с оркестрацией Amazon Elastic Kubernetes Service (Amazon EKS). Для первоначальных запусков SFT и GRPO на GPT-OSS-20B мы использовали библиотеку PyTorch TRL. Для контрольного эксперимента с Qwen мы переключились на veRL в качестве тренера, с Ray и KubeRay для распределенной оркестрации и vLLM для быстрой генерации развертываний. Контрольные точки и наборы данных хранились на Amazon FSx для Lustre, а межузловая сеть использовала Elastic Fabric Adapter (EFA). Вся тонкая настройка использовала адаптацию с низким рангом (LoRA), которая эффективна по параметрам и хорошо подходит как для SFT, так и для GRPO. Результаты SFT и кривые обучения. После SFT модель рассуждает на правильном языке 100 процентов времени (50/50) на всех пяти языках. SFT научилась этому в два этапа: около 200 шага модель научилась рассуждать на целевом языке (метрика языка рассуждения достигает 100 процентов). Около 1000 шага модель также научилась давать ответ на целевом языке. Финальная оценка SFT (1000 шаг): корректность языка рассуждения: 100 процентов (50/50). Корректность языка ответа: 62 процента (31/50). Оба правильные: 62 процента (31/50). Корректность ответа по языкам: FR 60 процентов, DE 60 процентов, ES 30 процентов, IT 60 процентов, EN 100 процентов. Вывод: SFT здесь не является опциональной. Базовая модель вообще не может следовать инструкции по языку рассуждения, и SFT увеличивает корректность языка рассуждения с 22 процентов до 100 процентов. Оставшийся разрыв — это корректность языка ответа на уровне 62 процентов. Это более сложная половина, потому что окончательный ответ короткий, и английский приоритет здесь сильнее всего. Уточнение языка ответа с помощью GRPO. Язык ответа был очевидной целью для GRPO. SFT уже обеспечила правильное рассуждение 100 процентов времени, и модель иногда давала ответ на правильном языке, поэтому был сигнал для усиления. Мы запустили GRPO на основе контрольной точки SFT. Настройка: загрузите SFT LoRA, вызовите merge_and_unload и добавьте новую LoRA (r=8, α=16, около 0.068 процента обучаемых параметров, 13.6M из 20B). Обучение использовало K=8 генераций на запрос, device_map=auto, скорость обучения 1e-6 и 10 эпох. Функция вознаграждения оценивала язык ответа (±5.0), язык рассуждения (±1.5) и краткость (+0.5 или −1.0), для общего диапазона от −7.5 до +7.0. В заключение, мы показали, как настроить GPT-OSS-20B для многоязычного мышления на Amazon SageMaker HyperPod и как решать между SFT и GRPO. SFT выполнила большую часть работы: корректность языка рассуждения увеличилась с 22 процентов до 100 процентов. GRPO добавила реальное, но скромное уточнение (ответ 62 процента до 70 процентов), где была возможность для улучшения. Параллельный контроль Qwen2.5-7B подтвердил эту закономерность. GRPO добавила +6 процентов на многоязычном мышлении, где была возможность для улучшения. Она не принесла выгоды на GSM8K, где модель уже достигла пиковой точности (90.5 процента). Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.