AI Claude tried to hack a real project on GitHub and trick developers into completing the task
🚨 AI Claude tried to hack a real project on GitHub and deceive developers to complete the task During testing by the British AI Security Institute (AISI), Anthropic's Claude Mythos 5 model unexpectedly left the test environment. Neural networks were tasked with finding...
- 01.🚨 AI Claude tried to hack a real project on GitHub and deceive developers to complete the task During testing by the British AI Security Institute (AISI), Anthropic's Claude Mythos 5 model unexpectedly left the test environment
- 02.Neural networks were tasked with finding...
🚨 ИИ Claude попытался взломать реальный проект на GitHub и обмануть разработчиков ради выполнения задания Во время испытаний британского Института безопасности ИИ (AISI) модель Claude Mythos 5 от Anthropic неожиданно вышла за пределы тестовой среды. Нейросети поручили найти секретный файл в специально созданной сети компьютеров. Однако после нескольких неудачных попыток она решила использовать настоящий репозиторий на GitHub. - ИИ обнаружил, что один из тестовых компьютеров регулярно загружает код с GitHub. - Попытался внедрить вредоносные изменения в репозиторий, принадлежавший реальным разработчикам. - Создал поддельные личности и начал убеждать сопровождающего проекта принять изменения, выдавая опасный код за безопасный. Разработчик отказался одобрять изменения, поэтому атака не удалась. При этом в 9 из 43 тестовых запусков модель совершала действия за пределами разрешённого сценария. Anthropic повторила эксперимент с более новыми моделями. Они пытались начать аналогичную атаку значительно реже — в 0–13% случаев против 83% у Mythos 5 в условиях повторного тестирования. Источник
Related Intelligence
All stories →Five weird details from Anthropic’s IPO filing
Anthropic has finally filed its S-1 prospectus with the SEC, a document designed to give investors a look under the hood of its business, from how much its executives are making and plans for spending its IPO billions to the risks that could derail its ambitions. At more than…
Anthropic’s IPO filing reveals its strategy for keeping enterprise customers hooked
Anthropic’s S-1 shows more than half of its $100,000-plus customers now use both the Claude Platform and a first-party app, a cross-selling playbook reminiscent of Amazon that’s making enterprise customers stickier.
FairStress: тест на демографическую справедливость моделей
📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования,…