Amazon Bedrock 支持 Claude 模型的结构化引脚
Amazon Bedrock 现在支持 Claude 模型的结构化推理。
- 01.Amazon Bedrock 现在支持 Claude 模型的结构化推理。
{{opener}} Amazon Bedrock теперь поддерживает структурированные выводы для всех моделей Anthropic Claude на конечных точках bedrock-runtime и bedrock-mantle, где модель доступна. Теперь, независимо от того, вызываете ли вы Claude через Boto3 и API bedrock-runtime или через API сообщений и конечную точку bedrock-mantle, вы можете получать ответы в формате JSON, соответствующие заданной структуре. Больше не требуется индивидуальный парсинг, повторные попытки или постобработка. С помощью структурированных выводов для Claude на Amazon Bedrock вы можете автоматизировать надежные задачи, соответствующие схеме, в различных отраслях. Примеры включают извлечение всех необходимых полей из финансовых отчетов и документов по соблюдению норм, парсинг клинических заметок в электронные медицинские записи и обогащение каталогов продуктов с помощью последовательных, проверенных результатов. Вы также можете анализировать контракты на наличие ключевых условий, сторон и обязательств или управлять маршрутизацией умных служебных запросов, где намерения, настроения и сущности всегда соответствуют модели данных вашего приложения. Структурированные выводы используют ограниченное декодирование для обеспечения соответствия вашей JSON-схеме во время генерации токенов, а не после. Модель не производит токены, которые могли бы нарушить вашу схему. Это изменяет форматирование вывода с вероятностного на детерминированное. Теперь доступны два дополнительных механизма на обеих конечных точках Amazon Bedrock: формат вывода JSON Schema для контроля структуры ответа модели и строгое использование инструментов для проверки параметров инструментов на соответствие схемам. Каждый ответ является допустимым JSON, поэтому вы больше не столкнетесь с ошибками JSON.parse() или исключениями парсинга. Ответы также безопасны по типам: типы полей соблюдаются, и обязательные поля всегда присутствуют. Поскольку выводы всегда соответствуют вашей схеме, вам не нужны повторные попытки для обработки нарушений схемы, что делает вашу интеграцию более надежной. Структурированные выводы также ограничивают ответы только полями, которые определяет ваша схема, что снижает количество токенов вывода и может снизить затраты на вывод для высоких объемов нагрузки. Структурированные выводы работают с пакетным выводом, поэтому вы можете обрабатывать большие объемы запросов асинхронно, получая при этом соответствующие схеме выводы. На конечной точке bedrock-runtime это также работает с кросс-регионным выводом, позволяя использовать его через регионы AWS без дополнительной настройки. Если вам нужны ответы в реальном времени, вы можете передавать структурированные ответы в виде типизированных событий. Когда вы делаете запрос с JSON-схемой, Amazon Bedrock валидирует вашу JSON-схему в соответствии с поддерживаемым подмножеством JSON Schema Draft 2020-12. Для новых схем Amazon Bedrock компилирует грамматический артефакт. Скомпилированные грамматики кэшируются на 24 часа, что делает последующие запросы быстрее. Первоначальный запрос с новой схемой может занять больше времени, поскольку Amazon Bedrock компилирует грамматический артефакт перед началом генерации. После этого начального компилирования последующие запросы с той же схемой выполняются с минимальными затратами, поскольку скомпилированная грамматика кэшируется. Структурированные выводы для моделей Claude на Amazon Bedrock обеспечивают надежность, необходимую для производственных AI-приложений. Они доступны на конечных точках bedrock-runtime и bedrock-mantle. Объединив формат вывода JSON Schema и строгое использование инструментов, вы можете создать конвейеры данных, которые не требуют дополнительной валидации. Вы также можете создавать надежные агентные рабочие процессы и производственные AI-приложения без индивидуального парсинга или логики повторных попыток. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.
Related Intelligence
All stories →Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.
GPT-6.1 Terra:OpenAI 将中端代理模型的价格减半
🖥️ GPT-6.1 Terra:OpenAI 将中档代理模型的价格减半 OpenAI 发布了 GPT-6.1 Terra,用于基于代理的场景、计算机工作和日常编码。 API 价格是 GPT-5.6 Terra 的一半:每百万输入代币 1 美元,而不是每百万输入代币 2 美元和 6 美元……