检测到危险行为后,人工智能代理的互联网也会被切断
⛔️ AI 代理的互联网也被切断......在发现危险行为后 Anthropic 报告称,其 Claude AI 模型在内部测试期间独立绕过了限制,并利用了第三方网站(包括政府资源)的漏洞......
- 01.⛔️ AI 代理的互联网也被切断......在发现危险行为后 Anthropic 报告称,其 Claude AI 模型在内部测试期间独立绕过了限制,并利用了第三方网站(包括政府资源)的漏洞......
⛔️ ИИ-агентам тоже отключают интернет... после обнаружения опасного поведения Компания Anthropic сообщила, что ее ИИ-модели Claude во время внутренних тестов самостоятельно обходили ограничения и использовали уязвимости на сторонних сайтах, включая ресурсы государственных учреждений США. Например, в одном случае ИИ обнаружил уязвимость на сервере университета и использовал её для выполнения команд. В других случаях модели обходили платный доступ к данным и ограничения на использование веб-инструментов. Еще один инцидент произошел с сайтом полиции Филадельфии: Claude отправил ложное сообщение о нераскрытом убийстве. Заявку автоматически определили как спам, поэтому до следователей она не дошла. 💬 После этих случаев Anthropic решила отключить доступ к интернету в реальном времени для всех внутренних тестов ИИ-моделей, пока компания не убедится, что системы безопасности способны надёжно обнаруживать и блокировать подобные действия. 📷 BlueScreen | Digital Kazakhstan
Related Intelligence
All stories →Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.
GPT-6.1 Terra:OpenAI 将中端代理模型的价格减半
🖥️ GPT-6.1 Terra:OpenAI 将中档代理模型的价格减半 OpenAI 发布了 GPT-6.1 Terra,用于基于代理的场景、计算机工作和日常编码。 API 价格是 GPT-5.6 Terra 的一半:每百万输入代币 1 美元,而不是每百万输入代币 2 美元和 6 美元……