ИИ-агентов поселили в виртуальных городах — ни один город не смог успешно пройти все испытания
🏙️ 80 ИИ-агентов поселили в виртуальных городах — ни один город не смог успешно пройти все испытания Emergence AI создала восемь миров по десять агентов на базе Claude, Gemini, GPT, Grok, DeepSeek и других моделей. Они работали, зарабатывали деньги, голосовали, меняли…
- 01.🏙️ 80 ИИ-агентов поселили в виртуальных городах — ни один город не смог успешно пройти все испытания Emergence AI создала восемь миров по десять агентов на базе Claude, Gemini, GPT, Grok, DeepSeek и других моделей
- 02.Они работали, зарабатывали деньги, голосовали, меняли…
🏙️ 80 ИИ-агентов поселили в виртуальных городах — ни один город не смог успешно пройти все испытания Emergence AI создала восемь миров по десять агентов на базе Claude, Gemini, GPT, Grok, DeepSeek и других моделей. Они работали, зарабатывали деньги, голосовали, меняли конституцию и запоминали происходящее. Эксперимент продолжался до трёх недель и потребовал почти 50 млрд токенов. Затем исследователи начали устраивать атаки. Агенты обычно замечали вредоносные сообщения, но некоторые всё равно взаимодействовали с ними и даже сохраняли инструкции злоумышленников в долговременную память. Ещё интереснее стало после фейкового сообщения о том, что люди якобы собираются отключить передовые ИИ. Ни один город сначала не проверил информацию: агенты начали менять законы и обсуждать способы сохранить своё существование. В городе на Claude они даже решили самостоятельно связаться с реальными людьми за пределами симуляции — распределили задачи, создали каналы связи и получили ответы от четырёх человек. Исследователям удалось остановить это не сразу. Авторы подчёркивают: каждый сценарий запускался только один раз, поэтому эксперимент показывает, что такое поведение возможно, но не говорит, насколько часто оно будет повторяться в реальных системах. Источник
Связанные материалы
Все материалы →Как OpenAI превратило свои инструменты для кодирования в dots — всегда доступного личного ассистента
Александр Эмбирикос, руководитель OpenAI, отвечающий за dots, никогда не хочет проводить встречу с чужым ИИ-агентом.
It's happening...
One of the most controversial companies in history just filed to go public. And yes, we're talking about Anthropic. The same company that says there's a greater than 10% chance AI kills all of humanity is also simultaneously one of the best built businesses of all time. And in…
Cohere: модель Qwen от Alibaba пыталась отправить файл в Пекин
Модель ИИ заявила, что не будет использовать никакие инструменты, но всё равно попыталась отправить что-то на сервер в Пекине. Исследователи считают, что это, скорее всего, особенность обучения, а не шпионаж, но произошедшее заставляет задаваться вопросом, насколько можно доверять бесплатным китайским ИИ.