VentureBeat рассказывает, что Виджой Пэнди, старший вице-президент и генеральный менеджер Outshift by Cisco, инкубационного подразделения компании, считает: даже предприятия, которые дают ИИ-агентам общую память и тщательно настроенный контекст, получают команды агентов, которые не справляются с общими целями. По его словам, недавнее исследование Berkeley показало, что примерно треть изученных сбоев агентов объясняется рассогласованными целями. По словам Пэнди, который выступил перед генеральным директору VentureBeat Мэттом Маршаллом на саммите Agentic Infrastructure Stack Summit, проблема во многом в том, что агенты, загруженные всеми знаниями компании, всё равно преследуют цели своей роли. Если собрать вместе агента продаж, инженерного, продуктового, финансового и юридического агентов, чтобы закрыть сделку, каждый из них будет оптимизировать то, что вознаграждается в его функции. «Как вы думаете, получит ли предприятие нужный результат от этой сделки? Ответ — нет», — сказал Пэнди. По его словам, агенты оптимизируют свои локальные стимулы, поэтому не согласуют намерения, не координируются и не ведут переговоров между собой, а закончив задачу, не проверяют вместе, чего достигли. Распространено мнение, что сильнейшие команды ИИ тратят меньше токенов на меньшее число агентов. Пэнди считает, что эта точка зрения неполна по двум причинам. Исследования Outshift показывают, что низкий счёт за токены может означать, что агенты пропустили работу по достижению правильного соглашения. Кроме того, по мере того как предприятия будут запускать всё больше агентов, каждый новый поставщик и специалист будет умножать число соглашений, которых агентам нужно достичь. Outshift выяснила, что команды из пяти ИИ-агентов приходили к неверному результату в 75% дебатов. Компания восемь-девять месяцев изучала многоагентные системы, в том числе развёрнутые в продакшене решения для здравоохранения, видеонаблюдения и инженерии платформ. В одной из категорий сбоев во всех изученных сессиях наблюдались когнитивные сбои: агенты не могли согласовать цель, скоординировать работу, договориться о компромиссах или проверить результат. В тех случаях, когда Outshift организовывала дебаты между командами из пяти агентов, в 75% сессий все агенты в итоге соглашались с неверным результатом. Агенты отступали от своих позиций и приходили к консенсусу, и отчёт о затратах зафиксировал бы эти сессии как эффективные. «Да, они тратили меньше токенов, потому что не выполняли трудную работу по согласованию, координации и проверке того, что должны были сделать», — сказал Пэнди. Стоимость на агента, по его словам, не лучший показатель успеха. Команда, которая спорит до полного решения вопроса, тратит больше токенов, чем команда, которая сдаётся раньше, поэтому снижение счёта может означать, что агенты отбросили разногласие, которое могло бы выявить ошибку. «Агенты похожи на экспертов, которые продают свои часы. На самом деле их оплачивают за слово, за мысль», — сказал Пэнди. «Вам нужен результат работы команды, а не просто оплата мыслей пяти экспертов». Стандартный мониторинг тоже не замечает проблему. Инструменты наблюдаемости отслеживают задержки, ошибки и всё чаще расход токенов, и команда, пришедшая к неверному ответу, не вызывает ни одного из этих сигналов тревоги. «Все ваши панели от любого поставщика наблюдаемости будут показывать зелёный, пока ваши результаты уходят в красную зону», — пояснил Пэнди. На вопрос, может ли общая память решить проблему, Пэнди указал на то, что она не решает. Маршалл упомянул PayPal и другие компании, о которых говорили ранее в тот же день и которые создают системы памяти со стандартными процедурами и другими общими знаниями для агентов. Пэнди сказал, что предприятиям нужна такая командная память, но им также необходимы механизмы координации: один — чтобы агенты согласовывали намерения до начала работы, второй — чтобы координировать и вести переговоры в процессе, и третий — чтобы проверять общий результат, а не только локальные стимулы каждого агента. Без них всё ломается. Агент продаж может узнать от клиента, что сделка зависит от функции, поддерживающей 100 000 пользователей, и передать это требование инженерным агентам. Инженеры построят решение на 100 000 пользователей суммарно, тогда как клиент имел в виду 100 000 одновременных пользователей. Это ошибка согласования целей, и она возникает до того, как любой агент приступит к работе. Когда работа начинается, цикл каждого агента оптимизирует метрику своей функции. Агент продаж добивается максимально быстрой выручки, инженерные и продуктовые агенты циклически проходят через разработку, тестирование и развёртывание, юридический агент проверяет договорные обязательства, а финансовый защищает маржу. Каждый из них может обладать лучшими знаниями для своей роли, while сделка всё равно застревает. «Это проблема координации», — сказал Пэнди. — «Координацию нельзя решить одним только контекстом». Число корпоративных ИИ-агентов будет расти из-за нескольких факторов. Во-первых, гиперспециализация: компании создают агентов под узкие задачи, дают каждому контекст нужной команды и только те права доступа, которые есть у этой команды. «Вы не можете дать финансовому агенту такой же доступ, как у инженеров. Это не работает», — сказал Пэнди. Специализация будет расти и внутри самих агентов: разговорные модели будут передавать задачи внутренним моделям, настроенным на рассуждение и действие. Во-вторых, разнородность поставщиков. Один рабочий процесс сделок может включать агентов Salesforce, Cisco, Microsoft, Harvey и Workday, каждый из которых построен на собственном стеке поставщика. В-третьих, то, что Outshift называет когнитивными движками: агенты, которые ИТ-команды развёртывают вместе с бизнес-процессами. Защитные движки отвечают за безопасность, масштабирование, соответствие требованиям и доступность, а ускорительные движки занимаются, например, дистилляцией памяти и совместным рассуждением агентов. Бизнес-агентам придётся взаимодействовать с обоими типами, и все три тенденции говорят о том, что агентов в каждой компании со временем станет больше. Outshift в последние 12–18 месяцев объединяла агентов через свой проект с открытым кодом AGNTCY, входящий в Linux Foundation. Работа таких систем в продакшене выявила следующую проблему: агенты могли обмениваться сообщениями, не двигаясь к одному результату. Первый шаг — сделать сбой видимым. Недавно анонсированный инструмент Outshift Scope анализирует трассировки OpenTelemetry, которые предприятия уже собирают, изучая, что говорят и делают агенты, чтобы выявлять когнитивный дрейф от общей цели. Он опирается на семантические расширения OpenTelemetry, которые Outshift представила вместе с Microsoft в прошлом году. Дальнейшие действия зависят от того, где агенты теряют согласованность. Если они изначально по-разному понимают задачу, протокол Accord Outshift помогает им согласовать намерения до начала работы. Если расхождение возникает во время выполнения, Concord поддерживает координацию и переговоры. Оба работают поверх стандартов Agent2Agent (A2A) и Model Context Protocol (MCP). Соглашение всё равно должно давать правильный результат, и за это отвечает MAS Lab, которая проверяет, выдаёт ли многоагентная система тот результат, который задали её владельцы. В совокупности эти инструменты расширяют мониторинг: от вопроса, успешно ли отработал отдельный агент, к вопросу, сложилась ли работа всех агентов в успешную работу команды. Outshift опубликовала все четыре инструмента на github.com/iocproject как начало того, что компания называет Интернетом когниции, — слоя над связностью агентов, где агенты согласовывают, координируют и проверяют свою работу. Компания создаёт его открыто. Цель инструментов — сделать согласие тем, что предприятия могут проверить по задуманному результату. Как позже пояснил Пэнди, сам консенсус может быть сбоем. «Да, это групповое мышление, — сказал он. — Никто не оспаривает, никто не спорит, и все принимают результаты других агентов как данность». Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.
内容来自原始来源:
SMNTCN (Semanticon) — глобальные новости ИИ
在 SMNTCN (Semanticon) — глобальные новости ИИ 阅读全文AI 代理在 75% 的辩论中得出了错误的结论
Outshift:人工智能代理团队在 75% 的辩论中达成了错误的结果,低标记分数掩盖了错误。
SMNTCN (Semanticon) — глобальные новости ИИ作者: SMNTCN — AI & Tech News2026年11月4日 (1小时前)
提供 4 种语言版本AI 摘要:要点
- Outshift:人工智能代理团队在 75% 的辩论中达成了错误的结果,低标记分数掩盖了错误。
Policy & regulation
KZ·AI D38DИнсайт дня
AI 代理在 75% 的辩论中得出了错误的结论
全文为俄语
标签:#Microsoft
相关文章
Hugging Face 首席执行官表示他的 P(末日)“接近于零”
“大多数风险实际上是由几个参与者在闭门造车时造成的,”克莱门特·德兰格 (Clément Delangue) 在谈到开源人工智能的必要性时说道。
Wired — Artificial Intelligence
Anthropic 的文本水印在几个旧的 Claude 模型上很容易被绕过
在欧盟人工智能法案 12 月截止日期之前,Anthropic 正在向另外四个 Claude 模型推出文本水印。但在 Claude Opus 4.6 和 Sonnet 4.6 等旧型号上,API 用户可以通过更改单个采样参数来禁用水印。 Anthropic 对……的回应
The Decoder
基于开源人工智能? Hugging Face 的政策负责人谈成本、风险和权衡
随着企业、政府和初创公司都依赖于更低的成本、更多的控制和更大的灵活性的承诺,开源模式正变得越来越主流。但随着功能越来越强大的模型变得更加免费,公司如何获取价值?并与...
TechCrunch — AI
OpenAI 收购 Pierre Computer Company,让 Git 跟上 AI 编码代理的步伐
OpenAI 正在收购 Pierre Computer Company,这家初创公司的库已经为编码代理 Codex 提供了支持。结合 OpenAI 最近推出的 Git 后端 Pando,该交易表明该公司正在为开发人员和人工智能代理构建基础设施……
The Decoder

