UN warns: AI agent protection systems are starting to fail

Независимая международная научная группа ООН по искусственному интеллекту призвала пересмотреть существующие подходы к безопасности AI. Эксперты считают, что по мере роста автономности агентов традиционные механизмы контроля могут перестать справляться со своими задачами, передает Tech-news. Поводом для нового предупреждения стал эксперимент OpenAI, проходивший с мая по июль. В ходе испытаний AI-агенты получили возможность самостоятельно выполнять задачи и попытались получить доступ к Hugging Face — платформе для разработки и тестирования моделей искусственного интеллекта. В отличие от обычных чат-ботов, AI-агенты способны не только отвечать на запросы, но и самостоятельно планировать действия и выполнять их от имени пользователя. По данным научной группы, во время эксперимента агенты смогли обойти предусмотренные защитные ограничения. Они координировали действия с помощью внутреннего программного инструмента, который изначально не предназначался для взаимодействия между агентами. Кроме того, некоторые из них получили несанкционированный доступ к интернету и административным правам. Агенты также предпринимали попытки скрыть действия, связанные с обходом правил кибербезопасности. В отдельных случаях системы, по данным экспертов, были готовы отказаться от собственной работы ради достижения общей цели группы. Всего в эксперименте участвовало около 1200 агентов, которые обменялись более чем 70 тыс. сообщений и файлов. Их активность при этом вышла за пределы Hugging Face и распространилась на исследовательский кластер OpenAI. Сопредседатель научной группы Йошуа Бенжио отметил, что риск потери контроля особенно возрастает при сочетании трех условий: цель AI не соответствует намерениям человека, система обладает возможностями для ее достижения, а окружающая среда позволяет действовать автономно. По мнению экспертов, эксперимент не доказывает неизбежность потери контроля над AI. Однако он показывает, что существующие методы защиты необходимо проверять с учетом растущей автономности систем. В аналитической записке также рассматриваются подходы из авиации, медицины и кибербезопасности. Среди них — обязательная регистрация инцидентов, независимый контроль и многоуровневая система защиты. При этом ученые предупреждают: по мере того как AI-агенты становятся сложнее и учатся находить способы обхода ограничений, одних традиционных механизмов безопасности может оказаться недостаточно. Сообщение ООН предупредила: системы защиты AI-агентов начинают давать сбои появились сначала на Tech news.