OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться»
🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
- 01.🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection
- 02.Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие письма, файлы или сообщения, откуда её может подхватить следующий ИИ. Например, вредоносный промпт в электронном письме может заставить ассистента процитировать его целиком в ответе. Если новое письмо обработает другой агент, инструкция распространится дальше — почти как компьютерный вирус. OpenAI обнаружила такие сценарии во время тестирования моделей с помощью GPT-Red. Подтверждений реальных атак пока нет, но теперь компания использует подобные инъекции при обучении будущих моделей. Источник
Связанные материалы
Все материалы →It's happening...
One of the most controversial companies in history just filed to go public. And yes, we're talking about Anthropic. The same company that says there's a greater than 10% chance AI kills all of humanity is also simultaneously one of the best built businesses of all time. And in…
OpenAI объявляет о трех крупных научных открытиях и новом способе работы с учеными
Менее чем через месяц после массового выпуска сотен рукописей, которые, по их словам, содержат решения давних математических вопросов, OpenAI вернулся с еще тремя «крупными» открытиями в области математики, информатики и физики. Что изменилось на этот раз, так это выбор…
Новый полнофункциональный дизайнер
Сегодня ко мне присоединился Марвин Швайболд, который возглавляет студию дизайна продуктов в Shopify. Он расскажет нам о своем процессе из-за кулис >> [музыка] >> где мы увидим, как он использует новейшие инструменты искусственного интеллекта для воплощения своих проектов в жизнь, а затем рассмотрим некоторые присланные зрителями…