VentureBeat рассказывает, что предприятия, использующие более нескольких ИИ-агентов в производстве, сталкиваются с рисками, затратами и проблемами контроля, которые растут экспоненциально с каждым добавленным агентом. Основатель и генеральный директор компании по управлению данными Collibra Феликс Ван де Маеле отметил в беседе с основателем VentureBeat Мэттом Маршаллом на мероприятии AI Week в Нью-Йорке, что большинство неудач агентов связано с бизнес-контекстом, который они получают. Он подчеркнул, что компаниям необходимы детерминированные меры контроля над поведением агентов, прежде чем их количество увеличится. «Если у вас один, два, пять агентов, это управляемо», — сказал Ван де Маеле. «Если у вас 100 или 1000, это просто взрывается экспоненциально». Более 75% предприятий сталкиваются с проблемами на этапе производства, когда переходят от одного помощника к 10 или 15 автономным агентам. Опрос VentureBeat среди 157 руководителей в области технологий показал, насколько мал запас прочности у этих компаний. 34% допускают, что агенты могут вносить изменения в код или систему на основе автоматических оценок без человеческой проверки, в то время как только 5% всех респондентов полностью доверяют этим оценкам. Расстояние между тем, что обещают поставщики, и тем, что получают предприятия, называется разрывом галлюцинаций: агенты не всегда правы, и человеческое участие остается необходимым, в то время как затраты на ИИ растут. Команда, управляющая пятью агентами, может справиться с этими вызовами, назначив людей для проверки результатов, повторной сертификации агентов и обновления контекста, на который эти агенты полагаются, но это требует значительных усилий. Численность сотрудников, необходимая для этого, растет с увеличением числа агентов, поэтому компания с тысячей агентов не может просто нанять больше людей для обеспечения безопасности. Расходы на вычисления следуют той же модели. Текущие модели обычно могут логически прийти к правильному ответу, но это связано с затратами, отметил Ван де Маеле. «Модели становятся действительно хорошими, но они будут проходить через множество итераций, чтобы достичь этого, и каждая итерация потребляет токены», — объяснил он. «К сожалению, мы все узнали за последний год, что ИИ не бесплатен». Collibra провела опрос Harris Poll, который показал, что почти 30% компаний сообщили о случаях, когда агенты получали доступ к данным, к которым у них не было разрешения. Как же компания может обеспечить управление, когда агенты взаимодействуют с живыми производственными системами? Первым шагом является инвентаризация. На собственном саммите по ИИ Collibra Ван де Маеле спросил аудиторию, кто знает, сколько агентов у их компании в производстве, и кто знает, что эти агенты делают. Большинство не смогло ответить на оба вопроса. Компании поощряют сотрудников создавать и экспериментировать с агентами, и такая открытость затрудняет поддержание точного учета. Вторым шагом является жизненный цикл развертывания, который определяет, что агент должен пройти, прежде чем он попадет в производство. Однако медленный процесс подрывает себя, так как команды обходят любые препятствия, которые замедляют их работу. Жизненный цикл должен перемещать агента через проверку достаточно быстро, чтобы следование процессу обычно стоило команде меньше времени, чем его обход. Третий шаг касается агентов, которые преодолели первые два препятствия. Общая точка зрения в Кремниевой долине, озвученная такими руководителями, как генеральный директор Anthropic Дарио Амодеи и генеральный директор OpenAI Сэм Альтман, заключается в том, что постоянно улучшающиеся модели в конечном итоге перестанут допускать ошибки. Это может быть верно для потребительского использования, но не для предприятий. Чат-бот для потребителей может дать множество приемлемых ответов на один и тот же запрос, в то время как запрос на номер дохода компании имеет ровно один правильный ответ, и большие языковые модели испытывают трудности с тем, чтобы возвращать один и тот же ответ каждый раз. Опрос Collibra показал, что 90% респондентов обвиняют отсутствие согласованной базы данных в том, что это мешает им получать надежные результаты. Десятилетние инвестиции в платформы данных обеспечили большинству предприятий достаточное количество данных и доступ к ним, но агенты все равно терпят неудачи, потому что они запрашивают неправильные таблицы, неправильно интерпретируют поля или используют записи с множеством дефектов качества, пояснил Ван де Маеле. «Это больше проблема управления данными, или, как я бы сказал, проблема контекста, чем проблема данных», — добавил он. Его решение заключается в онтологии, которая фиксирует данные компании, бизнес-смысл этих данных и процессы, которые регулируют их использование. Ван де Маеле соучредил Collibra много лет назад, чтобы зафиксировать бизнес-контекст, и эта же работа теперь обеспечивает основу, необходимую агентам для отражения того, как функционирует бизнес. Эта онтология должна храниться в слое контекста, независимом от любой модели или платформы. Компании будут менять модели, и многие изменят платформы данных и ИИ в ближайшие годы. Онтология описывает сам бизнес, поэтому она меняется, когда меняется бизнес, и сохраняется в целостности при каждой из этих миграций платформ. Устойчивый контекст также сокращает расходы на токены, поскольку агент, который уже обладает необходимыми определениями, пропускает итерации, которые он в противном случае проходил бы, чтобы их вывести. Более сложной задачей является поддержание точности этого контекста после развертывания. Одна исследовательская лаборатория опубликовала недавние исследования своего внутреннего аналитического агента, который ответил на около 30% вопросов правильно без контекста и около 90% с ним. Однако через два месяца его точность упала до 60%, потому что контекст требует такого же постоянного обслуживания, как и данные предприятия. По словам Ван де Маеле, предприятия в следующем десятилетии будут решать проблемы фрагментации контекста, контекстных силосов и качества контекста — те же проблемы, которые они решали последние 20 лет для данных. Контекст будет существовать одновременно в Cowork от Anthropic, ChatGPT, Microsoft Copilot, пользовательских системах агентов и платформах данных, создавая риск того, что разные системы и бизнес-единицы разработают конфликтующие определения одних и тех же бизнес-терминов. Ответ Collibra на вопрос управления и контекста — это контракт агента, который превращает существующий контекст управления в машинно-читаемые правила, которые могут быть прочитаны и применены в реальном времени и последовательно применены ко всему флоту агентов. Глобальные контракты устанавливают общие границы, в то время как специализированные контракты адаптируют эти требования к различным категориям агентов. По мере появления новых типов агентов управление может расширяться вместе с ними. Страж проверяет намерения агента перед его выполнением и блокирует любые действия, которые контракт запрещает. Стражи не могут работать с большими языковыми моделями, поскольку проверка LLM добавляет слишком много задержки и затрат к каждому действию агента, а их вердикты несут ту же ненадежность, что и сам агент, которого они контролируют. Collibra создает своих стражей, чтобы оценивать правила контракта детерминированно, так что одно и то же действие всегда приводит к одному и тому же вердикту. Единого контроля недостаточно для устранения всех пробелов, и индустрия, включая Collibra, все еще исследует, как управлять этими неудачами. Тем временем инвестиции в ИИ должны быть направлены на слой контекста, отметил Ван де Маеле. «У всех нас есть доступ к одним и тем же моделям, поэтому дифференциация заключается в вашей способности захватывать свои специфические собственные знания и делать их доступными для агентов наиболее эффективным способом», — объяснил он. «Вот где заключается ваше конкурентное преимущество». Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.