AWS Machine Learning представляет оценку навыков агентов с Strands Evals

Как сообщает AWS Machine Learning, универсальные агенты справляются с широким спектром задач, однако им необходимо следовать процедурам, которые управляют бизнесом: проверкам соблюдения, рабочим процессам обработки документов, политикам эскалации и инженерным стандартам. Кодирование всего этого в одном системном запросе или в логике приложения становится сложным для поддержания и обновления. Навыки представляют собой модульную альтернативу. Навык — это повторно используемый набор инструкций, обычно хранящийся в файле SKILL.md, который обучает агента специфической задаче в определенной области, такой как редактирование контракта, сверка счета или соблюдение стандартов команды по запросам на слияние. Поскольку навыки следуют открытому стандарту Agent Skills, они портативны между совместимыми системами, и агент загружает только тот навык, который ему нужен во время выполнения, вместо того чтобы нести все процедуры в своих основных инструкциях. Навык упаковывает один или несколько инструментов с контекстом, необходимым агенту для их правильного использования: инструкции, привязки инструментов, знания, рабочий процесс и защитные меры. Такой модульный подход помогает командам быстрее специализировать агентов, повторно использовать проверенные процедуры между агентами и рабочими процессами, поддерживать последовательное поведение и обновлять специфические для области рекомендации без дообучения основной модели или переписывания логики агента. Однако такая композируемость навыков вводит два режима сбоев, которые могут быть упущены общими метриками качества вывода: агент вызывает навык, который не подходит для задачи, и агент вызывает правильный навык, но пропускает или лишь частично следует его инструкциям. Оценка, таким образом, не может полагаться только на финальный ответ. Чтобы сделать эти сбои измеримыми, Strands Evals SDK и Amazon Bedrock AgentCore Evaluations добавляют оценщики, ориентированные на навыки. Точность выбора навыка определяет, был ли каждый вызванный навык подходящим выбором для задачи. Он возвращает бинарный результат для каждого вызванного навыка. Следование инструкциям навыка определяет, насколько полно агент следовал инструкциям вызванного навыка, и возвращает пятиуровневую оценку, основанную на доказательствах для каждого предписанного шага. В этом посте вы узнаете, как оценивать выбор навыка и следование инструкциям из записанной траектории в Strands Evals, добавлять детерминированные проверки маршрутизации в тестовый набор, оценивать поведение навыка по следам OpenTelemetry с помощью AgentCore Evaluations и интерпретировать результаты по навыкам для выбора правильного исправления через AgentCore CLI. Агент получает задачу и каталог навыков, выбирает навык, загружает его и действует. Запуск записывается как траектория в Strands Evals или как след OpenTelemetry в вашем слое наблюдаемости. Эта запись теперь может быть использована для всех трех оценщиков навыков. Точность выбора навыка проверяет, соответствует ли каждый вызванный навык задаче и был ли агентом вызван правильный навык. Кроме того, Skill Invoked представляет собой детерминированную проверку того, был ли успешно загружен указанный навык. Оценка поведения навыков требует различных исправлений в зависимости от типа сбоя. Неподходящий выбор часто указывает на пересекающиеся или неоднозначные описания навыков, в то время как неполное следование инструкциям может потребовать более четких шагов, другой структуры навыка или более мощной модели агента. Таким образом, навыки делают агентов дешевыми для специализации, но правдоподобный финальный ответ не доказывает, что агент выбрал правильную процедуру или следовал ей. Точность выбора навыка и следование инструкциям навыка отделяют эти режимы сбоев и возвращают доказательства для каждого вызванного навыка. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Claude Opus 5.5 теперь доступен на Amazon Bedrock GPT-6 Sol и GPT-6 Luna теперь доступны на Amazon Bedrock Изучите, как свипы параллелизма помогают оптимизировать генеративный ИИ на Amazon SageMaker. AWS Machine Learning показывает, как объединить автоматизацию данных с Agentforce. Инфраструктура ИИ может оказаться более ценной, чем сами приложения ИИ.