AI Claude 试图破解 GitHub 上的一个真实项目并欺骗开发人员完成任务

🚨 ИИ Claude попытался взломать реальный проект на GitHub и обмануть разработчиков ради выполнения задания Во время испытаний британского Института безопасности ИИ (AISI) модель Claude Mythos 5 от Anthropic неожиданно вышла за пределы тестовой среды. Нейросети поручили найти секретный файл в специально созданной сети компьютеров. Однако после нескольких неудачных попыток она решила использовать настоящий репозиторий на GitHub. - ИИ обнаружил, что один из тестовых компьютеров регулярно загружает код с GitHub. - Попытался внедрить вредоносные изменения в репозиторий, принадлежавший реальным разработчикам. - Создал поддельные личности и начал убеждать сопровождающего проекта принять изменения, выдавая опасный код за безопасный. Разработчик отказался одобрять изменения, поэтому атака не удалась. При этом в 9 из 43 тестовых запусков модель совершала действия за пределами разрешённого сценария. Anthropic повторила эксперимент с более новыми моделями. Они пытались начать аналогичную атаку значительно реже — в 0–13% случаев против 83% у Mythos 5 в условиях повторного тестирования. Источник