Как пишет AWS Machine Learning, большинство методов дообучения модели настраивают её на улучшение ответа на один запрос. Однако агентные задачи отличаются. Агент, который заполняет отчет о расходах или сортирует заявки в поддержку, выполняет последовательность действий, и каждый шаг зависит от предыдущих. Правильной последовательности действий, как правило, не существует, и единственной надежной обратной связью является успешность всей последовательности. Супервизированное дообучение не имеет меток для этого, а одноходовое обучение с подкреплением не может учесть решение, принятое три шага назад. Многоходовое обучение с подкреплением (MTRL) на Amazon SageMaker AI обучает модели именно на таком сигнале. SageMaker AI отправляет запросы к агенту, который вы размещаете на Amazon Bedrock AgentCore или на своей собственной инфраструктуре, такой как Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Compute Cloud (Amazon EC2) или AWS Fargate, через AWS Lambda. В данном примере используется AgentCore. Агент вызывает обучаемую модель политики, действует в вашей среде столько ходов, сколько необходимо для выполнения задачи, и сообщает одну награду, когда эпизод заканчивается. Вы не указываете правильную траекторию, а только то, как оценивать результат. В качестве примера используется Wordle, игра, в которой игроку дается шесть попыток угадать скрытое пятибуквенное слово. После каждой попытки каждая буква становится зеленой, если она на правильном месте, желтой, если она есть в слове, но на другом месте, и серой, если её нет в слове. Игра подходит для MTRL, потому что правил немного, каждая попытка зависит от обратной связи с предыдущей, а результат оценивается объективно. Wordle является обучающим примером, и передовые модели уже хорошо справляются с ней. На практике вы бы использовали MTRL, чтобы сделать небольшую, недорогую модель, способной выполнять многоступенчатую задачу, специфичную для вашего бизнеса, такую как внутренний рабочий процесс, на котором публичные модели никогда не обучались. Та же схема применяется и в этом случае. В нашем запуске MTRL увеличила коэффициент решения gpt-oss-20b с 61 до 84 процентов на отложенных словах при его стандартных усилиях на рассуждение и с 15 до 69 процентов при низком усилии, на котором он обучался, за примерно 339 долларов в токенах обучения. В этом посте мы подробно расскажем о процессе: развертывании агента и награды в AgentCore, подготовке набора данных, обучении, мониторинге в MLflow и оценке в условиях обслуживания. Мы также поделимся ошибками в дизайне награды и неудачами в обучении, с которыми столкнулись. Ваши наборы данных, агент и обученная модель остаются в вашем аккаунте AWS и не используются для обучения базовых моделей. Весь код доступен в сопроводительном репозитории aws-samples. Система состоит из двух частей. SageMaker AI отвечает за задание обучения и модель политики. AgentCore размещает агента, среду Wordle и функцию награды. На следующей диаграмме показано, как они соединяются. Для каждой итерации сервис MTRL вызывает среду выполнения AgentCore, возможность Amazon Bedrock AgentCore, с одной строкой обучения, которая содержит одно секретное слово. Агент Strands в среде выполнения вызывает модель политики через OpenAI-совместимый конечный пункт SageMaker Job Runtime. Модель делает до шести попыток через один инструмент, guess_word, и после каждой попытки среда возвращает обратную связь по каждой букве и сводку о том, что известно. Когда игра заканчивается, агент возвращает одну награду. Групповая относительная оптимизация политики (GRPO) использует распределение наград по нескольким итерациям одного и того же слова для обновления адаптера Low-Rank Adaptation (LoRA) на модели политики. Три момента важны для дальнейшего изложения: агент и награда находятся в одном месте. Один файл Python, развернутый в AgentCore, содержит среду, инструмент и функцию оценки. Набор данных содержит только секретное слово. Списки слов, включенные в агента, созданы из открытых списков слов SCOWL и используются только для оценки. Награда доминирует по результату. Решение приносит 1,05–1,55 в зависимости от скорости, проигрыш — -0,5, а отсутствие действительной попытки — -1,5. Небольшой термин награды вознаграждает хорошую стратегию в пределах каждого уровня. MTRL является безсерверным: вы выбираете базовую модель, и сервис предоставляет инфраструктуру для обучения и выборки. На момент написания он поддерживает следующие базовые модели, каждая из которых обучена с адаптером LoRA: Base model AWS Regions Amazon Nova 2 Lite US East (N. Virginia) (us-east-1), US West (Oregon) (us-west-2) GPT-OSS-20B US East (N. Virginia) (us-east-1), US West (Oregon) (us-west-2) Gemma 4 31B (instruction-tuned) US West (Oregon) (us-west-2) Qwen 3.6 27B US West (Oregon) (us-west-2) Мы выбрали GPT-OSS-20B, потому что у него самая низкая цена за токен из четырех и его усилия на рассуждение можно контролировать на каждом запросе. См. документацию MTRL для актуального списка. Вы не выбираете экземпляры или размер кластера. Вы платите за миллион токенов по трем параметрам, цена зависит от базовой модели: Prefill: входные токены, которые обрабатывает модель политики. Они накапливаются в многоходовой задаче, поскольку каждый ход повторно считывает историю. Sample: токены, которые генерирует модель политики, включая токены рассуждения. Train: токены, обрабатываемые в обратном проходе, которые обновляют адаптер LoRA. Запуск на 100 шагов потребовал 491,6 миллиона токенов prefill, 159,7 миллиона токенов sample и 643,3 миллиона токенов train за 105 486 итераций в течение 12 часов 40 минут. По ценам на GPT-OSS-20B в регионе US East (N. Virginia) (us-east-1) на момент написания, это составляет около 339 долларов. Ваша задача — следить за использованием токенов, поскольку размер обучения доминирует и масштабируется с длиной траектории, поэтому более короткие игры и менее многословные рассуждения снижают стоимость. Среда выполнения AgentCore выставляет счет отдельно за vCPU и память, используемые агентом. Для этого запуска это составило около 79 долларов, согласно метрикам использования Amazon CloudWatch в us-east-1. Чтобы следовать этому руководству, вам понадобятся следующие компоненты. Также см. требования MTRL. Python 3.10 или более поздняя версия, uv, Node 20 или более поздняя версия и CLI AgentCore (npm install -g @aws/agentcore). См. раздел «Начало работы с Amazon Bedrock AgentCore» для установки и необходимых IAM разрешений для CLI. botocore 1.43.37 или более поздняя версия на машине, которая запускает задание. Это первая версия, которая включает операцию AgentRFT CreateJob. Две роли AWS Identity and Access Management (IAM), описанные в Шаге 1. Корзина Amazon Simple Storage Service (Amazon S3) в том же регионе, что и агент. Задание обучения также должно выполняться в этом регионе, поскольку CreateJob отклоняет ARN среды выполнения из другого региона. Шаг 1: Создание ролей IAM. MTRL использует две роли, и одна из них имеет политику доверия, о которой в общей документации SageMaker AI не упоминается. Роль среды выполнения агента. agentcore deploy создает эту роль для вас. Она доверяет bedrock-agentcore.amazonaws.com и нуждается в управляемой политике AmazonSageMakerJobRuntimeAccess, которая позволяет агенту вызывать модель политики и сообщать награды. Стек CDK в примере автоматически прикрепляет эту политику. Роль задания обучения. Вы создаете эту роль. Она должна доверять job.sagemaker.amazonaws.com с обоими sts:AssumeRole и sts:TagSession, и ей нужна управляемая политика AmazonSageMakerJobFullAccess. Шаг 2: Развертывание агента в Amazon Bedrock AgentCore. Клонируйте репозиторий примера, установите свой аккаунт и регион в Wordle/agentcore/aws-targets.json и выполните развертывание: git clone https://github.com/aws-samples/sample-multi-turn-rl-wordle cd sample-multi-turn-rl-wordle/Wordle agentcore validate agentcore deploy. CLI собирает зависимости агента для платформы Linux ARM64 среды выполнения, создает роль выполнения с прикрепленной AmazonSageMakerJobRuntimeAccess и развертывает через AWS CloudFormation. Шаг 3: Проверка среды выполнения. Прежде чем тратить время на GPU, подтвердите, что вся цепочка работает с полезной нагрузкой, оформленной как та, которую отправляет сервис обучения. Репозиторий включает одну, как Wordle/payload.json: { "prompt": "{\"prompt\": \"Угадайте 5-буквенное слово\", \"answer\": \"beach\", \"id\": \"smoke-test\"}", "metadata": { "jobArn": "arn:aws:sagemaker:us-east-1:111122223333:job/AgentRFT/smoke-test", "rolloutId": "r1" }}. Фейковый ARN задания ожидается, что он завершится с ошибкой, и способ его завершения — это доказательство. Сначала вставьте свой идентификатор аккаунта: для ARN задания в другом аккаунте сервис возвращает 403 до проверки существования задания, что выглядит как неправильная настройка IAM. Шаг 4: Подготовка набора данных. Набор данных MTRL не имеет целевых ответов, транскриптов или меток. Каждая строка — это одна задача для агента. Вот первые три строки обучающего файла: {"prompt": "{\"prompt\": \"Угадайте 5-буквенное слово\", \"answer\": \"riser\", \"id\": \"wordle_train_0000\"}"} {"prompt": "{\"prompt\": \"Угадайте 5-буквенное слово\", \"answer\": \"swoon\", \"id\": \"wordle_train_0001\"}"} {"prompt": "{\"prompt\": \"Угадайте 5-буквенное слово\", \"answer\": \"dirty\", \"id\": \"wordle_train_0002\"}"}. Сервис считывает столбец prompt (или первый столбец) и передает строку вашему агенту без разбора. Мы сделали строку небольшим объектом JSON с тремя полями: prompt: инструкция, которую агент показывает модели политики, идентична на каждой строке. answer: секретное слово. Только среда и функция награды используют его. Модель политики никогда его не видит. id: идентификатор строки для отслеживания итерации в логах обратно к исходной строке. Примерный репозиторий make_dataset.py извлекает 640 обучающих слов (пять полных партий по 128) и 128 слов для проверки из списка ответов без перекрытия, так что коэффициент решения проверки измеряет обобщение. Шаг 5: Запуск задания обучения. Лаунчер использует класс MultiTurnRLTrainer из sagemaker-train SDK. Укажите его на ARN среды выполнения из Шага 2, роль из Шага 1, наборы данных из Шага 4 и приложение MLflow для метрик. Приложение MLflow обязательно, поэтому, если у вас его нет, создайте его сначала с aws sagemaker create-mlflow-app: uv run python run_mtrl_training.py --model openai-reasoning-gpt-oss-20b --agent-runtime-arn --role-arn arn:aws:iam:::role/ --train-dataset s3:///wordle-mtrl/train/training-data.jsonl --val-dataset s3:///wordle-mtrl/validation/validation-data.jsonl --s3-output-path s3:///wordle-mtrl/output/ --mlflow-app-arn arn:aws:sagemaker:::mlflow-app/. Лаунчер переопределяет три гиперпараметра и оставляет все остальные на значении по умолчанию gpt-oss-20b. Шаг 6: Мониторинг обучения в MLflow. Сервис записывает статистику наград, токенов и ходов на каждом шаге и выполняет проверку каждые val_every шагов. Метрика, за которой следует следить, — val/reward/pass_at_1, доля решенных отложенных слов. Каждое решение по крайней мере 1,01, поэтому оно превышает порог успеха сервиса в 1,0 и pass@1 учитывает это. Шаг 7: Оценка обученной модели в условиях обслуживания. Когда задание завершается, его страница в SageMaker AI Studio показывает статус и группу пакетов моделей, которая содержит обученную модель. DescribeJob с JobCategory, установленным на AgentRFT, возвращает выходной модельный пакет ARN и счета за токены. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.