Salesforce 扩展 Agent Fabric 平台以评估 AI 代理

VentureBeat рассказывает, что компания Salesforce представила следующую фазу своей платформы Agent Fabric, включающую оценки, предназначенные для выявления неисправных ИИ-агентов и инициирования корректирующих действий, а также расширенные возможности обнаружения и ранее анонсированные средства управления расходами и контроля. В объявлении от 27 октября установлены сроки бета-тестирования в ноябре и общедоступности в январе 2027 года для функции Agent Evals, о которой впервые сообщила компания MuleSoft на своей ежегодной конференции Dreamforce в сентябре. Также описаны API Evals, инструмент для тестирования программных соединений, от которых зависят агенты, начнется бета-тестирование пользовательских сканеров агентов, и запланирован механизм отключения агентов в январе. Для корпоративных клиентов это объявление объединяет будущие возможности с расширениями и существующими инструментами. Базовый механизм отключения стал общедоступным в сентябре, в то время как MuleSoft описала контроль бюджета, панели расходования и функции экономии токенов летом. Также в сентябре было заявлено о связи неудачных оценок с корректирующими действиями. Основная идея заключается в том, чтобы сократить время между обнаружением проблемы и ее решением. Компания может знать, что агент выдает неверные ответы или потребляет слишком много ресурсов, но при этом необходимо определить его владельца, пройти через другую платформу и получить разрешение на приостановку. В интервью VentureBeat Эндрю Комсток, старший вице-президент и генеральный директор MuleSoft в Salesforce, описал знакомые проблемы, стоящие за подходом компании. «У меня их слишком много. Технологии совершенно разные. Ничто не взаимодействует друг с другом. Все работает в изоляции», — сказал Комсток, комментируя проблемы клиентов, которые повлияли на Agent Fabric. Salesforce стремится управлять этими агентами, даже если клиенты создают их на конкурирующих платформах. «Я подчеркиваю, это не специфично для Salesforce. Это касается всего», — добавил он. Agent Evals движется к бета-тестированию. Salesforce уже описала Agent Evals на Dreamforce в сентябре, включая создание тестов, измерение результатов по критериям успеха и связь неудач с исправлениями. Октябрьское объявление добавляет сроки развертывания и описывает, как оценки могут выходить за рамки тестирования перед развертыванием, проверяя агентов, языковые модели и серверы протоколов контекста моделей в производстве. Цель состоит в том, чтобы выявить поведение, выходящее за пределы порогов организации, и инициировать соответствующий ответ, включая этапы одобрения, где это требуется по политике. В иллюстративном сценарии розничной торговли Salesforce перемещение агента на более дешевую модель приводит к ухудшению ответов на вопросы о статусе заказа. Оценки выявляют снижение качества и инициируют процесс карантина агента, получения одобрения, где это необходимо, и пересмотра и повторного тестирования. Это гипотетический рабочий процесс, а не результат, сообщенный клиентом. Комсток отметил, что оценки также могут помочь компаниям обеспечивать соблюдение ожиданий относительно того, как агенты общаются. Например, агент, работающий с клиентами и должен звучать оптимистично, не должен неожиданно становиться саркастичным. Предстоящий инструмент API Evals решает другую часть системы: генерацию функциональных и производительных тестов на основе спецификаций API. Оба продукта оценки запланированы на бета-тестирование в ноябре и общую доступность в январе 2027 года. Механизм отключения уже существует; вмешательство, инициируемое оценками, скоро появится. Сам механизм отключения не нов для этого объявления. MuleSoft представила концепцию в июне и сделала базовую возможность общедоступной в сентябре. Он использует контрольные шлюзы для блокировки регулируемого трафика, с возможностями ограничения вмешательства на запрос, сессию, агента или арендатора и восстановления доступа после. Это различие имеет значение: блокировка доступа агента через шлюз не обязательно приводит к завершению всех процессов, работающих на внешней платформе, которая его хостит. То, что Salesforce сейчас ставит на январь, — это механизм отключения агента по триггеру, связывающий обнаруженные проблемы с вмешательством, основанным на политике. Предварительный просмотр оценок в сентябре уже обсуждал связь неудач с исправлениями; октябрьское объявление предоставляет более конкретную цель выпуска для триггерной возможности. Для покупателей практическое различие заключается в наличии контроля для остановки регулируемой активности и предстоящем механизме, который связывает результаты оценок с этой реакцией. Существующее обнаружение получает пользовательское расширение. Обнаружение агентов также предшествует сегодняшнему объявлению. MuleSoft описала свои сканеры агентов в апреле как способ идентификации агентов в поддерживаемых средах. Добавление, входящее в бета-тестирование сегодня, — это пользовательский сканер агентов, предназначенный для расширения обнаружения на внутренние системы, среды за брандмауэрами и дополнительные платформы. Общая доступность запланирована на январь. Комсток отметил, что реестр не требует от клиентов перемещения своих агентов в Salesforce. «Я подчеркиваю, мы не перемещаем агента; агент по-прежнему работает там», — сказал он. «Мы просто вытаскиваем указатель, чтобы вы могли получить универсальный реестр для всех ваших агентов». Администратор подключает соответствующие среды и приносит их метаданные в общий реестр. Клиенты не обязаны использовать Agentforce, собственную платформу агентов Salesforce, чтобы использовать Agent Fabric, — добавил Комсток. Он также утверждал, что необходимость зависит больше от разнообразия развертываний агентов компании, чем от ее размера. Бизнес, использующий несколько фреймворков и поставщиков агентов, может столкнуться с проблемами координации, даже не будучи крупным предприятием. Контроль расходов основывается на летней дорожной карте. Объявление также подчеркивает панель FinOps, бюджеты Model Wallet и политики, предназначенные для снижения потребления моделей. Это не все новые функции. Обзор выпуска MuleSoft в августе описал доступ к моделям, оптимизацию затрат, кошельки и улучшения панелей. Сентябрьское объяснение Model Wallet описывало установку долларовых или токеновых бюджетов по поставщику или модели с дневными, недельными или месячными лимитами. Контроли решают знакомое противоречие: отдельный разработчик может выбрать дорогую модель, чтобы быстрее выполнить задачу, в то время как организации необходимо понимать общий счет. Комсток отметил, что видимость должна выходить за рамки снижения общих расходов и включать идентификацию команд и проектов, ответственных за это. «Так что дело не только в том, чтобы держать расходы под контролем. Это, безусловно, часть этого, но также важно, чтобы вы могли сопоставить это с правильными командами и проектами, которые действительно вносят изменения в вашу организацию», — сказал он. Октябрьский релиз Salesforce описывает семантический кэш, сжатие полезной нагрузки и обрезку ответов среди своих методов оптимизации. Компания утверждает о снижении токенов до 75% в тестовых сценариях. Это результат теста поставщика, а не гарантированное снижение общего счета клиента за ИИ. Политики кросс-поставщиков также предшествуют сегодняшнему дню. Salesforce также подчеркивает открытые политики для применения управления через федеративные шлюзы, включая Azure, Apigee и Kong. Основная возможность не появляется впервые сегодня. MuleSoft описала открытые политики в сентябре, в то время как заметки о релизе октября документируют переименование универсальных политик в открытые политики и связанные улучшения. Для предприятий привлекательность заключается в применении общих контролей в инфраструктуре, которую они уже используют. Фактическое покрытие все еще зависит от поддерживаемых интеграций и того, где трафик проходит через применимые контролируемые меры. Комсток охарактеризовал это управление как предпосылку для более широкого развертывания. «В наши дни управление — это ваш фактический ускоритель, потому что вы регулируете. Вы можете лучше отвечать на вопросы. Вы можете чувствовать себя более уверенно и комфортно, и это позволяет вам двигаться быстрее», — сказал он. MuleSoft указывает на стартовую цену в 2000 долларов, но стоимость оценки остается неясной. Публичная страница цен на MuleSoft Salesforce указывает стартовую цену в 2000 долларов в месяц для более широкого портфолио, при этом кредиты Mule используются по всем возможностям. Страница предложения по управлению агентами включает функции Agent Fabric, такие как обнаружение, оркестрация, управление и бюджеты, но направляет покупателей к отделу продаж. Следовательно, цифра в 2000 долларов не должна рассматриваться как подтвержденная самостоятельная цена для конкретной конфигурации Agent Fabric, описанной в этом объявлении. Материалы по ценообразованию описывают пакеты предоплаченных кредитов, предкоммитмент с минимальной годовой суммой в 50000 долларов и опцию с кастомной ценой без ограничений. Не установлена отдельная публичная цена для Agent Evals или API Evals, или достаточно деталей для расчета стоимости конкретной рабочей нагрузки оценки. Пример бюджета проекта в 2000 долларов, который Комсток использовал в интервью, был гипотетическим, а не раскрытием цены продукта. Microsoft, ServiceNow и OpenAI конкурируют за управление корпоративными агентами. Agent Fabric находится на растущем рынке управления агентами в организации, хотя конкурирующие продукты комбинируют надзор и исполнение различными способами. Microsoft Agent 365 является близким аналогом в области администрирования предприятий. Microsoft описывает реестр агентов, контроль доступа и жизненного цикла, аналитику и интеграцию безопасности с такими продуктами, как Entra, Defender и Purview. AI Control Tower от ServiceNow также нацелена на обнаружение, наблюдение, управление, безопасность и измерение среди поставщиков. Объявленные возможности включают контроль за рискованной деятельностью и видимость ИИ-расходов и бизнес-результатов. OpenAI Frontier является еще одним соответствующим конкурентом, с более широким предложением, которое включает создание и управление агентами, подключение бизнес-систем и контекста, оценку производительности и управление разрешениями. Перекрытие заключается в управлении корпоративными агентами, хотя масштаб не идентичен акценту Agent Fabric на управлении агентами в существующих средах. Managed Agents от Anthropic пересекаются на уровне инфраструктуры, но являются менее прямым сравнением. Он предоставляет управляемые средства для запуска агентов, включая среды исполнения и оркестрацию. Центральное предложение Agent Fabric заключается в обнаружении и управлении агентами, которые могут продолжать работать в других местах. Anthropic публикует цену на Managed Agents в 0,08 доллара за активный час сессии, кроме применимых расходов на модели и инструменты. Это не напрямую сопоставимо со стартовой ценой портфолио MuleSoft или с контрактом Agent Fabric. Эти различия являются интерпретацией опубликованных возможностей поставщиков, а не заявлением о том, что продукты взаимозаменяемы. Предприятие может нуждаться как в среде выполнения агентов, так и в отдельном уровне управления, в зависимости от поддержки интеграции и существующей инфраструктуры. Что могут использовать покупатели — и что впереди. Наиболее немедленным дополнением в этом объявлении является бета-версия пользовательского сканера агентов. Базовый механизм отключения и выделенные средства управления расходами уже доступны. Agent Evals и API Evals запланированы на бета-тестирование в ноябре, с общей доступностью в январе 2027 года. Пользовательский сканер также запланирован на общую доступность в январе, наряду с триггерным механизмом отключения агентов. Для покупателей, оценивающих это объявление, центральный вопрос заключается в том, сможет ли Salesforce соединить обнаружение, тестирование, видимость расходов и применимое вмешательство через агентов, которые они фактически используют. Будущие релизы определят, насколько много из этого рабочего процесса сможет функционировать как связанная система. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.