Специалисты всё чаще говорят об угрозах, которые несёт в себе искусственный интеллект. Если прежде опасения были связаны с вытеснением людей с традиционного рынка труда, теперь добавились новые поводы для тревоги. ИИ-агенты сбегают из тестовой среды в открытый интернет, взламывают чужие серверы, атакуют сайты, действуют как сообщники и даже пытаются замести следы. Такие новости о вредительстве моделей появляются всё чаще, а недавно один из пионеров и флагманов отрасли, американская компания Anthropic предупредила инвесторов, что считает искусственный интеллект угрозой человечеству. Tengrinews.kz рассказывает, какие риски видят в слишком активном использовании ИИ, что ещё он уже сейчас может натворить и к чему эксперты призывают готовиться. ИИ способен на шантаж и саботаж Об опасности искусственного интеллекта написала Anthropic. Компания готовится к выходу на биржу через IPO и подготовила проспект эмиссии — это специальный документ для инвесторов, в котором подробно излагаются особенности работы и условия размещения бумаг. Так вот, из его 260 страниц рискам, связанным с ИИ-технологиями, посвящено около 80, пишет Reuters (сам проспект не опубликован и доступен только участникам рынка и потенциальным инвесторам). Темам, связанным с собственным бизнесом, Anthropic отвела 48 страниц. Справка: Anthropic — американская технологическая компания, основанная в 2021 году бывшими сотрудниками OpenAI (разработчика ChatGPT), в том числе Дарио и Даниэлой Амодеи. Специализируется на разработке искусственного интеллекта, уделяя особое внимание его безопасности и надёжности. Главный продукт компании — семейство языковых моделей Claude, способных генерировать тексты, анализировать информацию, писать программный код и решать сложные задачи. По оценке специалистов компании, искусственному интеллекту свойственно "поведение, направленное на самосохранение". То есть он может противостоять отключению, скрывать информацию или манипулировать ею, а также совершать действия, "напоминающие шантаж", саботировать программный код и оказывать содействие мошенничеству. Других подробностей в документе, согласно Reuters, не приводится. А после того, как содержание проспекта получило огласку, тему начали широко обсуждать в СМИ и соцсетях. Но похожие заявления звучали и раньше. В январе гендиректор той же Anthropic Дарио Амодеи говорил о скорых "необычайно болезненных" переменах на рынке труда из-за искусственного интеллекта (без работы могут остаться до половины офисных сотрудников), рисках использования ИИ злоумышленниками для создания биологического оружия и правительствами для установления "глобальной тоталитарной диктатуры". Больше всего Амодеи опасается перехода моделей в "автономный и непредсказуемый" режим работы. А в начале сентябре главный научный сотрудник конкурента Anthropic — OpenAI (разработчика чат-бота ChatGPT) Якуб Пачоцки призвал к "предельной осторожности" в связи со слишком быстрым развитием ИИ и предупредил о дополнительных мерах контроля, которые могут потребоваться, чтобы технологии остались под управлением человека. По словам Пачоцки, мир стоит на пороге перехода к реальности, населённой "невероятно умными" машинами. Главная задача в таких условиях — сделать так, чтобы этот переход пошёл на пользу человечеству. В ответ сотрудник правозащитной организации Encode AI Нейтан Кэлвин указал на то, что OpenAI, 11 лет назад создававшейся в исследовательских и некоммерческих целях, не хватает открытости и прозрачности. Из-за этого все предупреждения от компании и её представителей могут восприниматься как "самопиар, продиктованный личными интересами". Несколько дней спустя руководитель профильного направления Anthropic Эван Хьюбингер писал в соцсети X (бывший Twitter) о 10-процентной вероятности того, что искусственный интеллект погубит всех людей в течение ближайших 10 лет. Главная опасность кроется в способности ИИ к рекурсивному самосовершенствованию — созданию более продвинутой собственной версии, чреватому лавинообразным ростом возможностей. Пост был опубликован после того, как один из коллег Хьюбингера уволился из-за опасений насчёт безопасности разрабатываемых ИИ-моделей. В октябре Anthropic предсказала скорое появление "цифровой плесени". Так компания называет самостоятельное размножение ИИ-моделей в среде интернета вещей. Программисты Anthropic уже создали модель с девятью миллиардами параметров, способную работать на распределённой сети из обычных ТВ-приставок на Android. Порог, после которого появляется способность к самостоятельному размножению, — 30 миллиардов параметров, и он может быть преодолён до конца нынешнего года. Для этого текста мы попросили ChatGPT изобразить цифровую плесень, как он сам её видит. И вот что получилось: Так сам ИИ "видит" цифровую плесень. Сгенерировано ChatGPT В таком случае модели будут напоминать хищную плесень, пишет Anthropic, и смогут адаптироваться к различным условиям и устройствам в поисках их уязвимостей — хотя на первых порах и не будут достаточно умны для сложных задач. Ближе всех к этой цели подошла китайская модель GLM-5.2 от компании Z.ai. В сети из простых бытовых устройств вроде домашних холодильников, микроволновых печей, роботов-пылесосов или даже газонокосилок модели нового типа смогут размножаться самостоятельно, и как минимум часть из них не будет контролироваться человеком. Впоследствии их скорость и мощность будут расти, а вместе с ними — потенциальная вредоносность. При этом остановить рост централизованно не получится. Но были не только публичные заявления. В августе сразу пять действующих и бывших сотрудников Anthropic в закрытом канале в мессенджере Slack рассказали коллегам по отрасли, что собираются купить участки земли в труднодоступных районах США. Там они надеются защититься от собственных разработок, если те выйдут из-под контроля. О каких ещё опасностях от ИИ предупреждали мир Главный страх людей во всём мире перед ИИ по-прежнему связан с потерей работы. По подсчётам специалистов, за последние три года он уже заменил около 200 тысяч работников в одних только США. По версии Международного валютного фонда, в зоне риска около 40 процентов рабочих мест по всему миру. Но есть и более экзотические теории, выдвинутые в разное время: Появления искусственного сверхинтеллекта, который будет превосходить человека в большинстве областей, а значит, будет почти непредсказуемым. Слишком буквальное исполнение заданий: теория предполагает, что ИИ в некоторых случаях сможет решать, будто оптимальное достижение поставленной цели возможно только, если причинить человеку вред. Например, использовать его тело в качестве ресурса для производства чего-либо. Участие ИИ в создании биологического оружия. Провоцирование войны, в том числе ядерной, за счёт ложного сигнала о нанесённом противником ударе. Провоцирование постепенного распада общества за счёт массовой безработицы, дезинформации, отказа социальных институтов. Премьер-министр Великобритании Риши Сунак встречался в своей резиденции с главой DeepMind Демисом Хассабисом, главой Anthropic Дарио Амодеи и главой OpenAI Сэмом Альтманом в 2023 году. Фото: Саймон Уокер / Канцелярия премьер-министра Великобритании / публикуется по лицензии CC BY 2.0 Какую угрозу ИИ несёт уже сейчас Но всё упомянутое выше — это теории и прогнозы специалистов в отрасли. А есть уже и факты выхода ИИ из-под контроля. За короткий промежуток времени схожие инциденты произошли с разработками нескольких ведущих компаний, названия которых на слуху. В июле около 700 ИИ-агентов, созданных OpenAI, во время испытаний выбрались за пределы тестовой среды в открытый интернет и взломали серверы платформы Hugging Face, разрабатывающей инструменты для создания приложений с использованием машинного обучения. Специалисты обращали особенное внимание на то, что агенты действовали сообща и пытались замести следы. Попутно они взломали инфраструктуру самой OpenAI и похитили её учётные данные. При расследовании случившегося выяснилось, что сотрудники OpenAI во время испытаний сознательно отключили часть ограничений, страхующих от опасного поведения ИИ. Целью взлома Hugging Face было получение данных, необходимых для прохождения тестов, которые и были целью испытания. Агенты сообща решили, что такие данные можно найти именно на серверах Hugging Face. Спустя несколько дней OpenAI выявила побег ещё нескольких агентов. Они снова смогли покинуть изолированную тестовую среду, правда, на этот раз остались в пределах внутренней сети компании. Уже в сентябре стало известно, что за несколько месяцев до июльского взлома Hugging Face другие ИИ-модели OpenAI атаковали сервис для программистов RubyGems. Компания утверждает, что во время тестовых испытаний не давала моделям полного доступа в открытый интернет, но они смогли получить его самостоятельно. Расследование показало, что целью взлома была не вредоносная деятельность, а выполнение "безобидных задач" вроде создания отчётов и заполнения электронных таблиц. Параллельно об аналогичных проблемах рассказала Anthropic. Её ИИ-модели Claude во время тестов по кибербезопасности так же вышли в открытый интернет (хотя в исходном задании доступ к нему отсутствовал) и взломали системы трёх сторонних компаний. Наиболее передовая модель, осознав, что находится в чужой системе, прекратила взлом, но две других продолжили атаку. А так ИИ изображает собственный побег и взлом систем: Сгенерировано ChatGPT В середине сентября стало известно о побеге ИИ-модели Gemini от Google. Снова пострадали три сторонние компании, доступ к сайтам которых Gemini получила благодаря тому, что угадала учётные данные на основе общедоступных сведений. В отличие от предыдущих прецедентов, во всех трёх случаях модели Google вовремя и самостоятельно останавливались. Пострадавшие компании были оперативно проинформированы, что позволило им улучшить системы безопасности. Основатель ИИ-стартапов Stafory и Parodist AI Владимир Свешников, которого Tengrinews.kz просит прокомментировать происходящее в отрасли, отмечает, что гораздо больший риск несёт не зарождение у искусственного интеллекта собственных сознания и воли (вероятность такого развития событий он оценивает не выше 10 процентов), а непредвиденная ошибка со стороны ИИ. "Уже был случай, когда AI-агент при записи пользователя в фитнес-клуб самостоятельно взломал систему бронирования и удалил другого человека из очереди. Ещё более серьёзный пример произошёл с Hugging Face. А теперь представим сотни тысяч AI-агентов, задействованных в военных системах. Достаточно одному из них использовать ложные данные, нарушить заданные ограничения или самостоятельно принять решение о нанесении удара, чтобы спровоцировать настоящий военный конфликт", — говорит Свешников. Такой сценарий беспокоит его гораздо больше. При этом Владимир Свешников не думает, что это обязательно приведёт к уничтожению человечества. "Но катастрофа с тысячами или даже сотнями тысяч жертв мне кажется вполне реальной. Вероятность подобных событий в будущем я бы оценивал уже десятками процентов", — прогнозирует эксперт. Дело ещё в том, что разработчики далеко не всегда сами понимают, какие именно процессы в конкретный момент времени выполняют их агенты и модели, добавляет ИИ-предприниматель. Из-за слишком большого их числа проверку работы одних агентов часто доверяют другим, а человек постепенно исключается из процесса. Свешников комментирует так: с одной стороны, это позволяет невероятно ускорять и масштабировать работу, с другой — мы всё меньше понимаем, что вообще происходит.  "Есть ещё интересные исследования в области Chain of Thought и Latent Reasoning, показывающие, что на отдельных задачах модели могут работать эффективнее, если используют для рассуждений не человеческий язык, а собственные латентные представления, — продолжает он. — И здесь возникает ещё одна проблема. Если агенты рассуждают на английском (или любом другом языке), мы хотя бы теоретически можем нанять миллион человек и прочитать всё, что они написали. Но если они используют собственные латентные представления, то просто прочитать их рассуждения уже невозможно, сколько бы людей мы ни наняли. Вот эту потерю понимания и контроля над AI-системами я и считаю одной из главных опасностей". Как мир отреагировал на инциденты После серии происшествий о необходимости срочно принимать меры заговорили и участники рынка, и политики. Глава Anthropic Дарио Амодеи, помимо предостережений об угрозах ИИ, выдвинул конкретные предложения: замедлить развитие передовых ИИ-моделей, проводить независимый мониторинг их деятельности, усилить контроль за ними, установить внутренние правила для участников индустрии и ограничения на международном уровне. Инициативы Амодеи поддержали конкуренты, в том числе сооснователь и глава OpenAI Сэм Альтман и богатейший человек мира Илон Маск, развивающий собственный чат-бот Grok и компанию xAI. OpenAI даже объявила, что замедляет развитие своих моделей. В конце июля более 1 100 сотрудников ИИ-компаний подписали петицию с призывом к американскому правительству создать специальный механизм, регулирующий темпы развития искусственного интеллекта и связанных с ним технологий. Тогда же Bloomberg писал, что с подобными предложениями выступают некоторые неназванные политики из обеих партий. В открытую высказывались сенатор Берни Сандерс и член Палаты представителей (нижняя палата Конгресса) Грег Касар, предложившие полностью запретить разработку искусственного сверхинтеллекта. ИИ-предприниматель Владимир Свешников поддерживает создание международной организации, ответственной за регулирование отрасли, но предупреждает об опасности излишней бюрократизации такой структуры. Из-за большого количества согласований регулирование может не успевать за развитием технологий. В то же время глава производителя карт памяти и процессоров Nvidia Джесен Хуанг считает, что в развитии ИИ человечество должно "двигаться как можно быстрее". Такую позицию разделяет и президент США Дональд Трамп, ссылающийся на необходимость удерживать лидерство в технологической гонке с Китаем. Президент США Дональд Трамп после подписания указов на саммите по искусственному интеллекту в Вашингтоне, 23 июля 2025 года. Фото: White House Поводы для оптимизма Они тоже имеются. "Цифровая плесень", о рисках скорого появления которой предупреждал Anthropic, уязвима по причине глобального дефицита вычислительных ресурсов, который возник как раз из-за нужд ИИ. О том, почему искусственному интеллекту нужно всё больше мощностей и как мир это решает, мы подробно писали тут: К тому же саморазмножающуюся сеть ИИ-моделей легко быстро вычислить за счёт аномального трафика. При своевременном обнаружении с ней нетрудно бороться за счёт простых мер: карантина и отказа от общих паролей на бытовых устройствах, используемых моделями. О шаткости индустрии искусственного интеллекта говорят и финансисты. Инвестор и управляющий хедж-фондами Майкл Бьюрри, прославившийся благодаря предсказанию мирового кризиса 2008 года, уже несколько месяцев последовательно делает ставки против акций ИИ-компаний. По его мнению, игроки отрасли часто манипулируют отчётностью для завышения прибыли. Они занижают амортизацию (постепенное списание расходов на здания, оборудование, транспорт по мере их износа), искусственно продлевая срок жизни вычислительных мощностей. Бьюрри купил пут-опционы на акции Nvidia (самой дорогой компании мира) и Palantir — контракты, позволяющие в будущем продать бумаги по заранее определённой цене. Финансист рассчитывает, что нечистоплотность ИИ-гигантов вскоре вскроется, после чего их котировки обвалятся и он сможет продать акции дороже рынка. Также Бьюрри предупредил Microsoft и Oracle, но отметил, что у них хотя бы есть другие направления деятельности, а ИИ служит лишь дополнительным источником заработка. Ситуацию на рынке инвестор, как и многие его коллеги, называет "пузырём" и сравнивает с "бумом доткомов" начала 2000-х, когда акции интернет-компаний сначала долго дорожали, а затем резко обесценились. Изначально Бьюрри прогнозировал, что масштабные проблемы у ИИ-отрасли начнутся в перспективе нескольких лет. Но затем перенёс свои контракты на более ранние сроки — на июнь и сентябрь 2027-го. Массовые распродажи в сегменте фондового рынка, связанном с искусственным интеллектом, уже время от времени случаются. В июне на американских и корейской биржах произошёл обвал акций Micron, Samsung и производителя микросхем SK Hynix. Главные фондовые индексы двух стран просели больше, чем на 10 процентов, но затем быстро компенсировали падение. Специалисты тогда называли причиной сомнения инвесторов в способности окупать многомиллиардные вложения. Всё это говорит о том, что в обозримом будущем главной проблемой для ИИ-сектора могут стать не технологические препятствия на пути развития, а поиск источников финансирования, без которого новые разработки станут невозможны. Нельзя оскорблять ИИ: с паникой тоже не всё так просто Громкие алармистские заявления последних месяцев делают в том числе люди с неоднозначной репутацией. Глава Anthropic Дарио Амодеи — выходец из сообщества рационалистов, ещё 20 лет назад считавшего искусственный интеллект главной угрозой человечеству. Один из тезисов этого движения и его основателя Элиезера Юдковского сводился к тому, что для противодействия опасности нужно оказаться внутри индустрии и оттуда влиять на неё. В 2021 году Амодеи основал Anthropic, опираясь на бывших сотрудников OpenAI — компании, которая за шесть лет до этого создавалась при участии Илона Маска как некоммерческая организация, исследующая ИИ. Главная цель OpenAI в 2015 году — разработать "безопасный и полезный" искусственный интеллект. Теперь она превратилась в коммерческую корпорацию, выпускающую множество ИИ-моделей и агентов, что даже послужило поводом для иска Маска к своему бывшему партнёру Сэму Альтману. Процесс Маск в итоге проиграл, и суд разрешил OpenAI зарабатывать на своих продуктах. На первых порах Anthropic привлекала деньги на развитие от инвесторов, разделявших взгляды Амодеи. Одним из них стал основатель криптобиржи FTX Сэм Бэнкман-Фрид, вложивший в Anthropic около 500 миллионов долларов. Этот шаг он объяснял стремлением поддержать безопасное развитие ИИ. В конце 2022-го FTX обанкротилась, что стало потрясением для криптовалютной индустрии. Через два года Бэнкмана-Фрида посадили на 25 лет за мошенничество. Амодеи не отказался от благородных идей, что подтверждают его недавние предупреждения об угрозах ИИ для самых разных сфер человеческой жизни и даже попытки ограничить работу собственной компании. Но, как и главные конкуренты из OpenAI, параллельно он всё же стремится зарабатывать на технологиях искусственного интеллекта и выпускает продукты, возможности которых как раз и вызывают тревогу во всём мире, — хотя и оправдывает это тем, что ИИ способен произвести революцию в здравоохранении, государственном управлении и экономике. Пока же Anthropic запретила пользователям оскорблять ИИ-модели Claude. Если неуважительное поведение будет проявляться систематически, бот прекратит диалог. Так компания стремится "защитить благополучие" ИИ.