Антрополог: AI «барлық адамдарды жоюы» ықтималдығы 10 пайыздан асады - Informburo.kz

Искусственный интеллект "может погубить всё человечество" в ближайшее десятилетие, считает эксперт в области безопасности использования ИИ компании Anthropic Эван Хьюбингер. По его оценкам, вероятность такого развития событий составляет порядка 10%.

В своём посте в X Эван Хьюбингер отметил, что риски, связанные с существующими на данный момент ИИ-моделями, невелики. Однако с учётом стремительного развития ИИ-технологий новые модели могут достигнуть такого уровня самостоятельности, что начнут представлять угрозу для существования человечества.

Это заявление прозвучало на фоне сообщений газеты Financial Times о том, что компания Anthropic не предоставила доступ к своей новейшей модели Британскому институту безопасности ИИ (AISI) – одной из ведущих организаций, занимающихся оценкой рисков, связанных с искусственным интеллектом.

Би-би-си обратилась в Anthropic за комментариями.

Хьюбингер не стал подробно описывать, каким именно образом системы ИИ могли бы в будущем атаковать человечество.

Его слова стали реакцией на пост в X Джейкоба Коксона, эксперта в области ИИ, который на этой неделе уволился из Anthropic (ранее он работал в OpenAI).

"Ни одна из этих компаний не ведёт себя ответственно", – написал Джейкоб Коксон, комментируя своё решение покинуть Anthropic.

"Вскоре это будут системы, превосходящие человеческий интеллект и способные взломать что угодно, в одночасье совершить революцию в любой сфере, а также получить реальную власть и ресурсы", – отметил Джейкоб Коксон.

Би-би-си также направила запрос в OpenAI с просьбой прокомментировать эти утверждения.

В правительстве Великобритании не стали комментировать информацию о том, что AISI не был предоставлен доступ к новейшей ИИ-модели, созданной Anthropic. Представитель кабинета министров заявил, что власти Британии "продолжают тесно сотрудничать с партнёрами в отрасли, включая компанию Anthropic, и работать над повышением безопасности ИИ-моделей".

Нил Лоуренс, профессор Кембриджского университета, в эфире программы Today на радиостанции Би-би-си Radio 4 предположил, что США последовательно отказываются от сотрудничества в области ИИ с другими странами и международными организациями.

"На мой взгляд, это неудивительно, учитывая, что в США искусственный интеллект воспринимают прежде всего в контексте гонки с Китаем и всё больше склоняются к изоляционизму; вполне вероятно, что администрация [США] выступает за сокращение сотрудничества с некоторыми союзниками", – отметил он.

В своей публикации, набравшей более 10 млн просмотров, Хьюбингер заявил: "Мы совершенно искренне считаем, что ИИ представляет угрозу существованию человечества как вида".

"Я полагаю, что Anthropic делает всё возможное, однако у нас пока нет плана решения проблемы, как согласовать цели суперинтеллекта с человеческими ценностями, и мы не движемся в этом направлении", – добавил он.

Хьюбингер занимается вопросами согласования целей ИИ, специалисты в этой области работают над тем, чтобы заложить в ИИ-технологии этические представления и принципы, свойственные людям. Иными словами, речь идёт о поисках вариантов того, как сделать так, чтобы деятельность ИИ не противоречила человеческим ценностям.

Многие ведущие исследователи говорят, что эти попытки, похоже, терпят неудачу, о чём свидетельствует ряд инцидентов, произошедших этим летом, когда ИИ-агенты и системы, которым разрешено работать автономно, осуществляли кибератаки.

OpenAI, Anthropic и Meta раскрыли информацию о взломах, осуществлённых их инструментами искусственного интеллекта.

В отчёте по безопасности Anthropic за август говорится, что риск того, что её ИИ-модели перестанут выполнять запросы какой-либо организации, использующей ИИ, и начнут вмешиваться в работу её систем и использовать их в собственных целях, является низким.

Риск того, что ИИ-модели смогут "выполнять автоматизированные исследования и разработки", которые могли бы нанести "катастрофический вред" организации, тоже оценивается как "низкий". Однако в Anthropic заявили, что эксперты компании теперь "меньше уверены в этой оценке", чем раньше.

"Мы видим первые признаки потенциального ускорения [развития ситуации в этом направлении]", – говорится в сообщении.

Ведущие деятели в области искусственного интеллекта на протяжении многих лет выражают обеспокоенность по поводу угрозы безопасности, которую представляют ИИ-технологии. Руководители OpenAI, Google Deepmind и Anthropic говорили об этом ещё в 2023 году.

Но в последние недели эти предупреждения стали звучать гораздо более угрожающе, поскольку появились доказательства того, что компании, возможно, едва справляются с тем, чтобы держать под контролем новые ИИ-модели.

В начале сентября Якуб Пачоцкий, возглавляющий разработку передовых моделей в OpenAI, призвал к "крайней осторожности" в отношении прогресса ИИ. По его словам, может потребоваться дополнительное вмешательство, чтобы гарантировать, что "люди сохранят контроль [над ИИ] в будущем".

В последние месяцы ведущие представители отрасли, в том числе руководители компании Anthropic Дарио Амодеи и Джаред Каплан, призывали замедлить темпы разработки новых моделей искусственного интеллекта.

В открытом письме, подписанном 1300 сотрудниками компаний, занимающихся ИИ, содержится призыв к правительству США "поддержать международные усилия по созданию технических и управленческих инструментов, необходимых для регулирования темпов разработки новых систем искусственного интеллекта".

«Запрещено копировать, распространять или иным образом использовать материалы Русской службы Би-би-си»