AWS Machine Learning рассказывает, что поисковые агенты, работающие на основе крупных языковых моделей (LLM), меняют подходы предприятий к получению информации. Вместо того чтобы требовать от пользователей создания идеального запроса, поисковый агент самостоятельно определяет, что искать, какую стратегию извлечения использовать и когда остановиться. Он делает это в нескольких раундах взаимодействия, уточняя свой подход на основе уже полученной информации. Однако добиться хорошей работы такого многоступенчатого поведения сложно. Ни одна базовая модель не знает ваших инструментов или окружения. Если задать небольшой модели запрос, вы редко получите надежное многоходовое поведение. Если задать запрос передовой модели, она часто работает, но это обходится в задержки и высокие затраты. Тонкая настройка предлагает третий путь: вы обучаете небольшую модель вашим инструментам и окружению напрямую. Результатом становится скорость и стоимость небольшой модели с надежностью, которая в противном случае потребовала бы передовой модели. Несмотря на то, что тонкая настройка является естественным следующим шагом, традиционные подходы имеют свои недостатки. Супервизионная тонкая настройка (SFT) зависит от экспертных демонстраций идеальных многоходовых траекторий, которые стоят дорого и обычно не существуют для вашей настройки. Одноходовое обучение с подкреплением (RL), такое как RL с проверяемыми наградами (RLVR), оценивает один ответ за раз. Но поисковый агент принимает взаимозависимые решения на протяжении многих ходов, каждый из которых основывается на предыдущем контексте. Оптимизация одного шага в изоляции полностью игнорирует эти зависимости. Вам нужен подход к обучению, который оптимизирует агента по полной многоходовой траектории. Наградной сигнал должен лишь отражать, было ли конечное решение хорошим. Именно это и предоставляет многоходовое обучение с подкреплением (MTRL). Оно обучает агента принимать правильные решения на протяжении всей последовательности шагов, учитывает специфическое для вашего окружения поведение и дает вам контроль над качеством вывода. Поскольку вы запускаете меньшую, специализированную модель, вы также получаете более быстрое и дешевое извлечение. В этом посте мы описываем, как мы тонко настроили поискового агента с помощью многоходового обучения с подкреплением (MTRL) на Amazon SageMaker AI и делимся результатами, которые мы наблюдали в качестве и надежности извлечения. Мы начинаем с объяснения, что такое Amazon SageMaker AI MTRL и как он работает. Amazon SageMaker AI MTRL позволяет вам тонко настраивать LLM с использованием обучения с подкреплением в условиях многоходового взаимодействия. Он формулирует агентскую задачу как последовательность решений, использует многоходовые развертывания для генерации обучающих данных и оптимизирует модель с помощью алгоритмов градиента политики. Amazon SageMaker AI MTRL предлагает: модульный интерфейс агента и окружения, который позволяет вам поддерживать низкий код интеграции; серверное выполнение, предоставляющее агентское RL в производственных масштабах по цене за токен без необходимости в управлении кластерами GPU; асинхронное развертывание и сбор траекторий, позволяющее запускать генерацию и обновления градиентов параллельно с ограниченной устаревшей политикой, чтобы обучение оставалось быстрым и не слишком отклонялось от текущей политики; библиотеку алгоритмов, из которой вы можете выбирать, включая оптимизацию проксимальной политики (PPO), оптимизацию политики с обрезанным важным выбором (CISPO) и потери с важным выбором (IS); возобновляемое обучение, позволяющее разбивать длительные обучающие запуски на несколько заданий; и наблюдаемость траекторий и наград, позволяющую вам проверять, что делал ваш агент по ходам и этапам обучения в MLflow, управляемом Amazon SageMaker AI. Оценочные задания позволяют вам сообщать о наградах, pass@k и метриках траектории перед развертыванием на конечной точке Amazon SageMaker AI или Amazon Bedrock. Это делает MTRL естественным выбором для поисковых агентов: у вас есть четкий сигнал награды (качество извлечения), многоходовая петля взаимодействия (агент, выдающий запросы и получающий результаты) и четко определенное окружение (инструменты поиска). Наша настройка полагалась на следующие компоненты: учетная запись AWS с доступом к Amazon SageMaker AI в регионе AWS West (Орегон); загруженные наборы данных для обучения и валидации в Amazon Simple Storage Service (Amazon S3) в требуемом формате; развернутая конечная точка агента, которая предоставляет инструменты BM25 и векторного поиска для вызова в окружении MTRL во время развертываний; знание Amazon SageMaker AI и Python. В этом посте мы используем Amazon SageMaker AI MTRL для тонкой настройки модели Qwen3.6-27B для поискового агента. Поисковый агент — это система, работающая на LLM, которая автономно использует инструменты поиска для нахождения, сбора и синтеза информации для ответа на вопрос или выполнения задачи. Мы сосредотачиваемся на корпоративной среде поиска, где у агента есть два доступных инструмента: лексический поиск (BM25), который находит точные совпадения ключевых слов, подсчитывая частоту слов, и векторный поиск, который преобразует запросы и документы в векторные представления и вычисляет схожесть. Мы также ограничиваем количество ходов (один ход — это один раунд взаимодействия пользователя с помощником), чтобы предотвратить создание агентом чрезмерно длинных ответов и поощрять эффективное поведение поиска. В этом разделе мы рассмотрим три ключевых компонента нашей настройки обучения: наборы данных, функцию награды и конфигурацию задания MTRL. Мы используем следующие наборы данных для обучения и тестирования: FRAMES Train, HuggingFace — многоходовой фактологический QA, требующий синтеза по нескольким статьям Википедии; BRIGHT Train, HuggingFace — интенсивный поиск по 12 доменам, где релевантность требует рассуждений, а не совпадения ключевых слов; Enterprise RAG Train, GitHub — эталонный набор из более чем 500 000 синтетических корпоративных документов и 500 вопросов для обучения и оценки систем RAG на внутреннем знании компании; ESCI Train, GitHub — многоязычный набор данных для поиска продуктов, помечающий пары запросов и продуктов как точные, заменяющие, дополнительные или неуместные; Musique Train, GitHub — набор данных для вопросов и ответов, созданный путем составления одноходовых вопросов в сложные многоходовые задачи; MLQA Train, HuggingFace — параллельный эталонный набор для извлечения вопросов и ответов, охватывающий семь языков для оценки межъязыкового понимания; FreshStack Test, HuggingFace — недавние вопросы и ответы по разработке технологий на Stack Overflow и документации по пяти темам; WixQA Test, HuggingFace — поддержка вопросов и ответов в центре помощи по базе знаний Wix; BrowseComp-Plus Test, GitHub — сложные глубокие исследовательские запросы по ~100 000 проверенным документам из открытых источников; Wands Test, HuggingFace — набор данных для поиска продуктов Wayfair, содержащий более 42 000 оценок релевантности запросов и продуктов, помеченных как точные, частичные или неуместные. Мы предварительно обрабатываем наборы данных в формат, распознаваемый сервисом MTRL, согласно документации. Мы также резервируем 5 процентов обучающих примеров в каждом наборе в качестве валидационных примеров. Наша основная метрика — nDCG@10 (нормализованный дисконтированный кумулятивный доход на ранге 10). nDCG@10 — это стандартная метрика информационного извлечения, которая измеряет, насколько хорошо топ-10 извлеченных документов соответствуют идеальному ранжированию. Она награждает системы, которые размещают высокорелевантные документы ближе к верху списка, при этом 1.0 означает идеальное ранжирование, а 0.0 — отсутствие извлеченных релевантных документов. Мы используем nDCG@10 напрямую в качестве функции награды в MTRL. Это награда на уровне траектории, где агент завершает полный многоходовой поиск, и награда отражает, насколько хорошо финальные извлеченные документы соответствуют истинным значениям. Когда агент достигает максимального количества ходов или максимального количества токенов в одном ходе, мы присуждаем награду -1, чтобы явно научить модель избегать этих режимов сбоев. Такой подход к дизайну награды с использованием штрафов эффективен для управления моделью, чтобы избежать нежелательного поведения без необходимости создавать сложные промежуточные награды. Конфигурация задания MTRL — одно из преимуществ Amazon SageMaker AI MTRL заключается в том, что вам нужно настроить очень немногое, чтобы начать. Мы изменяем три гиперпараметра и оставляем все остальные значения по умолчанию. Следующий фрагмент кода показывает, как настроить и запустить обучающее задание, используя SDK MultiTurnRLTrainer: from sagemaker.modules.train import MultiTurnRLTrainer trainer = MultiTurnRLTrainer( model_id="qwen3.6-27b", agent_endpoint="", training_dataset_s3_uri="s3://amzn-s3-demo-bucket/datasets/train/", validation_dataset_s3_uri="s3://amzn-s3-demo-bucket/datasets/validation/", hyperparameters={ "max_epochs": 1, "global_batch_size": 128, "rollout_max_concurrency": 32, }, output_s3_uri="s3://amzn-s3-demo-bucket/output/", ) trainer.train(). Ключевые гиперпараметры, которые мы изменяем: max_epochs: 1 контролирует, сколько полных проходов по обучающим данным. global_batch_size: 128 устанавливает количество запросов на каждом шаге обучения. rollout_max_concurrency: 32 контролирует, сколько развертываний выполняется параллельно во время сбора траекторий. Это вся настройка. Выборы, которые обычно требуют экспертизы в области RL, алгоритм, оценка преимущества, границы устаревания по политике, все запускается на значениях по умолчанию. Результаты тонкой настройки MTRL улучшили поискового агента по трем из четырех удерживаемых эталонов и значительно повысили его надежность по всем им. Наибольшие приросты были зафиксированы на BrowseComp-Plus (+23.7 процента nDCG@10) и WixQA (+18.4 процента), с меньшим приростом на Wands и незначительным ухудшением на FreshStack. Улучшение надежности стало более заметным результатом. На BrowseComp-Plus уровень ошибок снизился с 22.89 процента до 0.68 процента. Это означает, что агент научился не только лучше искать, но и завершать задачу в рамках своего бюджета по ходам и токенам. В следующих разделах мы рассмотрим кривые обучения и показатели по каждому эталону. Прогресс обучения. Следующая фигура показывает награду (nDCG@10) как на обучающих, так и на валидационных примерах в течение всего обучения. По оси x отложены шаги обучения, а по оси y — оценка nDCG@10. Две линии отслеживают награду на обучении и валидации, обе постепенно растут, прежде чем стабилизироваться. Обучение MTRL может длиться несколько дней, и служба MTRL имеет предельное время по умолчанию в 24 часа, которое можно настроить через JSON-схему CreateJob. Если задание остановлено или завершилось неудачей из-за тайм-аута или ошибки инфраструктуры, вы можете продолжить обучение с предыдущей контрольной точки с поддержкой возобновления. Фигура 1: награда nDCG@10 на обучающих и валидационных наборах за время обучения. Фигура показывает nDCG@10 по шагам обучения для обучающих и валидационных наборов. Обе кривые постепенно возрастают по мере прогресса тонкой настройки и достигают насыщения к концу обучения, что предполагает, что дальнейшее обучение не будет полезным. Тестовая производительность. Следующая таблица сравнивает тонко настроенную модель с оригинальной Qwen3.6-27B по четырем удерживаемым тестовым наборам данных. Все метрики в таблице вычислены на основе наших оценочных запусков на наборах данных, перечисленных в предыдущем разделе. Определения столбцов: размер — количество вопросов в наборе данных; nDCG@10 — стандартный нормализованный дисконтированный кумулятивный доход; неудачные задачи получают nDCG@10 равным 0; уровень ошибок — процент вопросов, где агент сталкивается с ошибкой (например, превышение лимита ходов или бюджета токенов); ходы (в среднем) — среднее количество ходов на вопрос. Результаты показывают, что тонкая настройка RL оказала значительное влияние: лучшее качество поиска: как показано в предыдущей таблице, nDCG@10 улучшилось на WixQA (с 0.5725 до 0.6781, прирост +18.4 процента), на Wands (с 0.5762 до 0.6112, прирост +6 процентов) и на BrowseComp-Plus (с 0.5136 до 0.6354, прирост +23.7 процента). Оценка немного снизилась на FreshStack. Меньше неудач: назначение награды -1 за случаи неудач было очень эффективным. На BrowseComp-Plus уровень ошибок снизился с 22.89 процента до всего 0.68 процента. Если вы решите исследовать этот подход, не забудьте очистить ресурсы после этого, чтобы избежать дальнейших затрат: остановите или удалите задание обучения MTRL в консоли Amazon SageMaker AI, если оно все еще работает; удалите артефакты модели в Amazon S3, если они больше не нужны; удалите любые развернутые конечные точки, которые были созданы для оценки. В заключение, в этом посте мы описали наш опыт использования Amazon SageMaker AI MTRL для тонкой настройки поискового агента на основе LLM с использованием обучения с подкреплением. С минимальной конфигурацией тонко настроенная модель показала значительные улучшения в качестве извлечения, уровне отказов и эффективности ходов (меньше ходов на вопрос). Ключевые выводы из нашего опыта с Amazon SageMaker AI MTRL: низкий барьер для входа: конфигурации по умолчанию работают хорошо, и для начала не требуется глубокая экспертиза в области RL; серверная инфраструктура: нет необходимости в выделении GPU или управлении распределенными обучающими кластерами; вы платите за токены; возобновляемое обучение: длительные запуски обучения могут быть разбиты на несколько заданий; прямая оптимизация: вы обучаетесь на основе вашей фактической метрики задачи, а не на прокси-потерях; полная наблюдаемость: вы можете проверять траектории по ходам в MLflow, управляемом Amazon SageMaker AI, чтобы понять, чему научился агент. Следующие шаги. Если вы хотите применить этот подход к своим собственным агентам, вот несколько полезных начальных точек: проконсультируйтесь с документацией Amazon SageMaker AI MTRL; подготовьте свой набор данных в требуемом формате; подготовьте своего агента и определите функцию награды на основе вашей специфической метрики задачи; начните с конфигураций по умолчанию, которые хорошо работали в нашем опыте; оценивайте и итератируйте. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.