VentureBeat рассказывает, что Виджой Пэнди, старший вице-президент и генеральный менеджер Outshift by Cisco, инкубационного подразделения компании, считает: даже предприятия, которые дают ИИ-агентам общую память и тщательно настроенный контекст, получают команды агентов, которые не справляются с общими целями. По его словам, недавнее исследование Berkeley показало, что примерно треть изученных сбоев агентов объясняется рассогласованными целями. По словам Пэнди, который выступил перед генеральным директору VentureBeat Мэттом Маршаллом на саммите Agentic Infrastructure Stack Summit, проблема во многом в том, что агенты, загруженные всеми знаниями компании, всё равно преследуют цели своей роли. Если собрать вместе агента продаж, инженерного, продуктового, финансового и юридического агентов, чтобы закрыть сделку, каждый из них будет оптимизировать то, что вознаграждается в его функции. «Как вы думаете, получит ли предприятие нужный результат от этой сделки? Ответ — нет», — сказал Пэнди. По его словам, агенты оптимизируют свои локальные стимулы, поэтому не согласуют намерения, не координируются и не ведут переговоров между собой, а закончив задачу, не проверяют вместе, чего достигли. Распространено мнение, что сильнейшие команды ИИ тратят меньше токенов на меньшее число агентов. Пэнди считает, что эта точка зрения неполна по двум причинам. Исследования Outshift показывают, что низкий счёт за токены может означать, что агенты пропустили работу по достижению правильного соглашения. Кроме того, по мере того как предприятия будут запускать всё больше агентов, каждый новый поставщик и специалист будет умножать число соглашений, которых агентам нужно достичь. Outshift выяснила, что команды из пяти ИИ-агентов приходили к неверному результату в 75% дебатов. Компания восемь-девять месяцев изучала многоагентные системы, в том числе развёрнутые в продакшене решения для здравоохранения, видеонаблюдения и инженерии платформ. В одной из категорий сбоев во всех изученных сессиях наблюдались когнитивные сбои: агенты не могли согласовать цель, скоординировать работу, договориться о компромиссах или проверить результат. В тех случаях, когда Outshift организовывала дебаты между командами из пяти агентов, в 75% сессий все агенты в итоге соглашались с неверным результатом. Агенты отступали от своих позиций и приходили к консенсусу, и отчёт о затратах зафиксировал бы эти сессии как эффективные. «Да, они тратили меньше токенов, потому что не выполняли трудную работу по согласованию, координации и проверке того, что должны были сделать», — сказал Пэнди. Стоимость на агента, по его словам, не лучший показатель успеха. Команда, которая спорит до полного решения вопроса, тратит больше токенов, чем команда, которая сдаётся раньше, поэтому снижение счёта может означать, что агенты отбросили разногласие, которое могло бы выявить ошибку. «Агенты похожи на экспертов, которые продают свои часы. На самом деле их оплачивают за слово, за мысль», — сказал Пэнди. «Вам нужен результат работы команды, а не просто оплата мыслей пяти экспертов». Стандартный мониторинг тоже не замечает проблему. Инструменты наблюдаемости отслеживают задержки, ошибки и всё чаще расход токенов, и команда, пришедшая к неверному ответу, не вызывает ни одного из этих сигналов тревоги. «Все ваши панели от любого поставщика наблюдаемости будут показывать зелёный, пока ваши результаты уходят в красную зону», — пояснил Пэнди. На вопрос, может ли общая память решить проблему, Пэнди указал на то, что она не решает. Маршалл упомянул PayPal и другие компании, о которых говорили ранее в тот же день и которые создают системы памяти со стандартными процедурами и другими общими знаниями для агентов. Пэнди сказал, что предприятиям нужна такая командная память, но им также необходимы механизмы координации: один — чтобы агенты согласовывали намерения до начала работы, второй — чтобы координировать и вести переговоры в процессе, и третий — чтобы проверять общий результат, а не только локальные стимулы каждого агента. Без них всё ломается. Агент продаж может узнать от клиента, что сделка зависит от функции, поддерживающей 100 000 пользователей, и передать это требование инженерным агентам. Инженеры построят решение на 100 000 пользователей суммарно, тогда как клиент имел в виду 100 000 одновременных пользователей. Это ошибка согласования целей, и она возникает до того, как любой агент приступит к работе. Когда работа начинается, цикл каждого агента оптимизирует метрику своей функции. Агент продаж добивается максимально быстрой выручки, инженерные и продуктовые агенты циклически проходят через разработку, тестирование и развёртывание, юридический агент проверяет договорные обязательства, а финансовый защищает маржу. Каждый из них может обладать лучшими знаниями для своей роли, while сделка всё равно застревает. «Это проблема координации», — сказал Пэнди. — «Координацию нельзя решить одним только контекстом». Число корпоративных ИИ-агентов будет расти из-за нескольких факторов. Во-первых, гиперспециализация: компании создают агентов под узкие задачи, дают каждому контекст нужной команды и только те права доступа, которые есть у этой команды. «Вы не можете дать финансовому агенту такой же доступ, как у инженеров. Это не работает», — сказал Пэнди. Специализация будет расти и внутри самих агентов: разговорные модели будут передавать задачи внутренним моделям, настроенным на рассуждение и действие. Во-вторых, разнородность поставщиков. Один рабочий процесс сделок может включать агентов Salesforce, Cisco, Microsoft, Harvey и Workday, каждый из которых построен на собственном стеке поставщика. В-третьих, то, что Outshift называет когнитивными движками: агенты, которые ИТ-команды развёртывают вместе с бизнес-процессами. Защитные движки отвечают за безопасность, масштабирование, соответствие требованиям и доступность, а ускорительные движки занимаются, например, дистилляцией памяти и совместным рассуждением агентов. Бизнес-агентам придётся взаимодействовать с обоими типами, и все три тенденции говорят о том, что агентов в каждой компании со временем станет больше. Outshift в последние 12–18 месяцев объединяла агентов через свой проект с открытым кодом AGNTCY, входящий в Linux Foundation. Работа таких систем в продакшене выявила следующую проблему: агенты могли обмениваться сообщениями, не двигаясь к одному результату. Первый шаг — сделать сбой видимым. Недавно анонсированный инструмент Outshift Scope анализирует трассировки OpenTelemetry, которые предприятия уже собирают, изучая, что говорят и делают агенты, чтобы выявлять когнитивный дрейф от общей цели. Он опирается на семантические расширения OpenTelemetry, которые Outshift представила вместе с Microsoft в прошлом году. Дальнейшие действия зависят от того, где агенты теряют согласованность. Если они изначально по-разному понимают задачу, протокол Accord Outshift помогает им согласовать намерения до начала работы. Если расхождение возникает во время выполнения, Concord поддерживает координацию и переговоры. Оба работают поверх стандартов Agent2Agent (A2A) и Model Context Protocol (MCP). Соглашение всё равно должно давать правильный результат, и за это отвечает MAS Lab, которая проверяет, выдаёт ли многоагентная система тот результат, который задали её владельцы. В совокупности эти инструменты расширяют мониторинг: от вопроса, успешно ли отработал отдельный агент, к вопросу, сложилась ли работа всех агентов в успешную работу команды. Outshift опубликовала все четыре инструмента на github.com/iocproject как начало того, что компания называет Интернетом когниции, — слоя над связностью агентов, где агенты согласовывают, координируют и проверяют свою работу. Компания создаёт его открыто. Цель инструментов — сделать согласие тем, что предприятия могут проверить по задуманному результату. Как позже пояснил Пэнди, сам консенсус может быть сбоем. «Да, это групповое мышление, — сказал он. — Никто не оспаривает, никто не спорит, и все принимают результаты других агентов как данность». Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.
Материал агрегирован из первоисточника:
SMNTCN (Semanticon) — глобальные новости ИИ
Читать полностью в SMNTCN (Semanticon) — глобальные новости ИИИИ-агенты в 75% дебатов приходят к неверному выводу
Outshift: команды ИИ-агентов в 75% дебатов соглашались с неверным результатом, а низкий счёт за токены скрывал сбой.
Кратко от AI: Главные тезисы
- Outshift: команды ИИ-агентов в 75% дебатов соглашались с неверным результатом, а низкий счёт за токены скрывал сбой.
ИИ-агенты в 75% дебатов приходят к неверному выводу
Похожие материалы
Генеральный директор Hugging Face говорит, что его P(Doom) «близок к нулю»
«Большая часть риска на самом деле создается парой игроков, которые строят за закрытыми дверями», — сказал Клеман Деланг о необходимости ИИ с открытым исходным кодом.
Текстовый водяной знак Anthropic легко обойти на некоторых старых моделях Claude.
Anthropic внедряет текстовые водяные знаки еще на четырех моделях Claude в преддверии декабрьского срока, установленного Законом ЕС об искусственном интеллекте. Но в более старых моделях, таких как Claude Opus 4.6 и Sonnet 4.6, пользователи API могут отключить водяной знак, изменив один параметр выборки. Ответ Anthropic на…
Опираетесь на ИИ с открытым исходным кодом? Глава отдела политики Hugging Face о затратах, рисках и компромиссах
Модели с открытым исходным кодом становятся все более распространенными, поскольку предприятия, правительства и стартапы в равной степени полагаются на обещания более низких затрат, большего контроля и большей гибкости. Но по мере того, как все более функциональные модели становятся все более доступными, как компании получают выгоду? И с…
OpenAI приобретает компанию Pierre Computer, чтобы Git не отставал от агентов кодирования ИИ
OpenAI покупает Pierre Computer Company, стартап, чьи библиотеки уже используются в агенте кодирования Codex. В сочетании с недавно запущенным бэкэндом Git Pando от OpenAI эта сделка показывает, что компания строит свою инфраструктуру для разработчиков и агентов искусственного интеллекта, работающих бок о бок…

