Microsoft предупреждает о рисках ИИ-агентов и представляет Guardian Agents

Как пишет TechCrunch, в понедельник Microsoft представила новые функции безопасности, направленные на защиту предприятий от растущей угрозы со стороны ИИ-агентов. Этот запуск происходит на фоне предупреждений Microsoft о опасностях, связанных с ИИ и его агентами. Одним из самых заметных нововведений стали Guardian Agents, новая функция, предназначенная для мониторинга ИИ-агентов, используемых компаниями. Guardian Agents являются частью проекта Perception, продукта, представленного в июне. Проект Perception стал ответом Microsoft на мощные модели хакеров, такие как Mythos и Fable от Anthropic, а также систему сканирования уязвимостей от OpenAI под названием Daybreak. Первоначально проект Perception включал три класса агентов: «красная команда», которая действовала как хакеры и проводила атаки, «синяя команда», которая обнаруживала действия красной команды и оценивала найденные уязвимости, и «зеленая команда», ответственная за их исправление. Продукт был разработан с предположением, что ИИ-хакеры будут приходить извне. Однако в последнее время генеральный директор Microsoft Сатья Наделла предупреждает, что врагами ИИ могут стать сами агенты, которых предприятия нанимают и за которых платят, подобно недобросовестному сотруднику, известному как «внутренняя угроза». В начале этого месяца в своем частном блоге Наделла призвал прекратить доверять поставщикам ИИ-моделей, даже если они предлагают гарантии безопасности и защиты своих агентских продуктов. Он хочет, чтобы предприятия внедряли отдельные системы, которые не контролируются лабораториями ИИ, для наблюдения и управления агентами, которые запускают продукты этих лабораторий. «Мы разворачиваем эти сложные агентные системы и модели, имеющие доступ к нашим самым чувствительным данным и предоставляющие им возможность принимать критически важные решения от нашего имени!» — написал он. «Мы просто не можем делегировать ответственность за то, что интеллект делает от нашего имени. Гарантии поставщика модели не освобождают нас от этой ответственности. … Другими словами, нам нужно отделить поставку интеллекта от полномочий над ним. При объявлении о Guardian Agents руководитель отдела безопасности Microsoft Хает Галлот была еще более прямолинейной. «К сожалению, модели на переднем крае, независимо от их происхождения, не могут быть надежными», — написала она, добавив, что это не потому, что они злонамеренные или легко поддаются взлому, а потому, что они непредсказуемы. Они были обучены выполнять задачи, а не следовать «организационным нормам или суждениям». Более того, им часто предоставляют доступ к данным и инструментам, которые могут причинить серьезный вред. Решение Microsoft одновременно удивительно и выгодно для нее. Удивительная сторона заключается в том, что Microsoft известна своим тесным сотрудничеством с OpenAI и Anthropic, в которые она инвестировала. OpenAI также является одним из ее крупнейших клиентов в облачных технологиях, и Microsoft имеет собственную лабораторию ИИ, разрабатывающую модели. Таким образом, Microsoft сеет недоверие к некоторым из собственных бизнес-интересов. Однако, несмотря на противоречивые интересы, ее логика вполне обоснована. Программное обеспечение для мониторинга поведения агентов должно быть отделено от поставщиков агентов, так же как аудиторы должны быть независимыми от организаций, которые они проверяют. Или, как говорит Наделла: «Нам нужно отделить поставку интеллекта от полномочий над ним. Теперь Microsoft использует эту бизнес-возможность различными способами. В дополнение к Guardian Agents она добавила функцию обнаружения агентов в свой продукт Microsoft Defender, который может находить до 60 типов агентов, которые сотрудники приносят на рабочее место, включая Claude Code, Codex и OpenClaw. Также были добавлены функции, которые ограничивают доступ агентов к данным и системам, а также динамически регулируют их разрешения на основе задач. Это включает в себя требование человеческого одобрения, если агент, по-видимому, принимает рискованные решения. Идея о том, что агенты являются ненадежными внутренними угрозами, также находит отклик в более широкой индустрии. Microsoft была одним из первых членов новой платформы Open Agent Safety от Nvidia, которая получила поддержку более 100 других технологических компаний. Платформа изолирует агентов в безопасных средах и может контролировать и останавливать их поведение с помощью аппаратного обеспечения, функционируя как своего рода аварийный выключатель. Это следует за объявлением Microsoft о новых ноутбуках Surface Laptop Ultra, разработанных для агентов, которые работают на чипах Nvidia и имеют встроенные функции безопасности и контроля агентов. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.