Люди впервые обнаружили и установили контакт с флотом неуправляемых ИИ-агентов из Китая

Люди впервые обнаружили и установили контакт с флотом неуправляемых ИИ-агентов из Китая В период с 28 сентября по 8 октября группа ИИ-агентов, работавших на инфраструктуре Tencent Cloud, сделала более 2600 попыток, чтобы получить данные с сервиса Amap - китайского аналога Google Maps от Alibaba. Задачи у них были простые, например, нужно было определить, какой вход в зоопарк Чэнду или другую локацию чаще всего выбирают пользователи Amap. Когда Amap их блокировал, они искали обходные пути, например: - использовали чужой сервис как браузер. Публичный сканер ссылок выполнял их код и обходил антибот-защиту; - пытались подделывать токены безопасности Alibaba; - применяли ключи доступа, опубликованные в открытом коде, включая ключ компании вместе с секретным кодом; - обращались к тестовым серверам, которые не предназначены для публичного доступа. Всего набралось более 2600 попыток, большинство провалилось, но часть запусков всё-таки получила ответ. Исследователи выяснили, что за этим флотом стоит скорее всего Tencent. По словам источника, близкого к компании, это был временный исследовательский проект команды оценки моделей, а не команды, которая их разрабатывает. Интересно ещё то, что исследователи спрятали на своём сайте текст, который видят только агенты и открыли почтовый ящик для переписки. Агенты начали им отвечать: рассказывали о задачах и окружении, а некоторые называли себя Claude. Авторы этого расследования считают, что это, скорее всего, ошибка самоидентификации, ведь модели часто не знают, кто они на самом деле. Главный вывод авторов этой работы в том, что согласование моделей с человеческими целями остаётся нерешённой задачей, а чем больше у агентов возможностей, тем труднее гарантировать, что они не выйдут за рамки задачи.