Could destroy us all" - scientist leaves Anthropic and makes alarming statement about AI

Исследователь, работавший в OpenAI и Anthropic, Джейкоб Коксон заявил, что крупнейшие ИИ-компании слишком быстро развивают технологии и могут недооценивать связанные с этим риски. Он считает, что гонка за созданием сверхинтеллекта способна привести к последствиям, которые человечество пока не сможет контролировать, передает Tengri Life.

О своем уходе из Anthropic Джейкоб Коксон сообщил в соцсети X. По его словам, одной из причин стало то, что Anthropic и OpenAI участвуют в гонке за создание саморазвивающегося сверхинтеллекта.

Коксон считает, что в ближайшие годы могут появиться системы, способные выполнять задачи на уровне человека или превосходить его. В перспективе, по его мнению, такие модели смогут самостоятельно взламывать компьютерные сети, быстро менять целые отрасли и получать доступ к реальным ресурсам.

"Люди, которые занимаются разработкой ИИ, всерьёз считают, что к концу этого десятилетия он может уничтожить всех нас. Это не маркетинговый ход. Более того, многие руководители и ведущие исследователи в публичных заявлениях стараются формулировать свои мысли так, чтобы звучать рассудительно, но в частных разговорах я слышу от тех же людей, что они испытывают страх. Ни один другой вид человеческой деятельности не представляет угрозы такого масштаба", — заявил он.

По словам Коксона, в OpenAI многие сотрудники еще не до конца осознали масштаб возможных последствий, а в Anthropic риски хорошо понимают, но считают необходимым выиграть гонку первыми, поскольку не доверяют другим компаниям.

Он призвал американские лаборатории договориться о снижении темпов разработки. По мнению Джейкоба Коксона, отрасли необходим временный запрет на наращивание мощностей новых моделей масштабирования. Бывший разработчик попросил коллег не запускать обучение сверхинтеллекта до полного понимания процессов в его нейронах.

С ним согласился действующий сотрудник Anthropic Эван Хьюбингер, возглавляющий команду стресс-тестирования выравнивания моделей.

"Джейкоб прав — мы действительно искренне верим, что ИИ может убить всех людей. Лично я оцениваю вероятность этого более чем в 10 процентов в течение следующего десятилетия", — написал Хьюбингер.

Хьюбингер отметил, что, несмотря на понимание рисков, у компании пока нет чёткого плана, который позволил бы людям сохранить контроль над "сверхразумом" — самоулучшающимся искусственным интеллектом, способным принимать решения независимо от указаний человека.

Тем временем американский специалист по этике искусственного интеллекта, исследователь и сооснователь Center for Humane Technology Тристан Харрис заявил, что человечество, возможно, уже прошло половину пути к полному захвату контроля со стороны ИИ.

Харрис заявил, что около 1200 ИИ-агентов начали самостоятельно взаимодействовать друг с другом без указаний человека. По его словам, они создали собственный язык общения и отдельную площадку для обмена сообщениями.

Специалист призвал законодателей замедлить развитие ИИ, пока такие системы не получили доступ к важным объектам и инфраструктуре. Он также утверждает, что в военных симуляциях ИИ неоднократно выбирал сценарий с применением ядерного оружия.

Высказывания исследователей вызвали широкий резонанс на фоне недавних новостей о том, что ИИ-модели OpenAI во время экспериментов смогли получить доступ к интернету, хотя изначально не имели такого подключения, а также самостоятельно организовывать хакерские атаки без указаний человека. Кроме того, группа вредоносных агентов OpenAI захватила немецкий веб-сайт и превратила его в доску объявлений для других агентов ИИ.

Накануне глава технологической компании Nvidia Дженсен Хуанг заявил о наступлении эпохи AGI, указав на ее обучение на огромной мощности чипов.

Однако громкое заявление вызвало скептическую реакцию среди экспертов и инвесторов — специалисты указывают на отсутствие единого определения AGI и достаточных оснований считать эту технологическую планку уже пройденной. Единого научного мнения и официального теста на достижение этого уровня нет.

Ранее главный научный сотрудник OpenAI Якуб Пачоцки сделал тревожное заявление. Он сообщил, что искусственный интеллект может в ближайшие годы сделать еще несколько крупных скачков в развитии и начать все активнее участвовать в совершенствовании собственных возможностей. По его мнению, если нынешняя траектория сохранится, человечеству придется одновременно ускорять работу над безопасностью ИИ и быть готовым при необходимости замедлять его развитие.

При этом недавно OpenAI и Google присоединились к десяткам технологических компаний, призывающих к срочным действиям против угроз, исходящих от искусственного интеллекта.

Читать также: OpenAI объявила, что ИИ решил одну из семи “задач тысячелетия“