🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие письма, файлы или сообщения, откуда её может подхватить следующий ИИ. Например, вредоносный промпт в электронном письме может заставить ассистента процитировать его целиком в ответе. Если новое письмо обработает другой агент, инструкция распространится дальше — почти как компьютерный вирус. OpenAI обнаружила такие сценарии во время тестирования моделей с помощью GPT-Red. Подтверждений реальных атак пока нет, но теперь компания использует подобные инъекции при обучении будущих моделей. Источник
From the original source:
Telegram — GPT Time | Нейросети | ИИ
Read full article at Telegram — GPT Time | Нейросети | ИИThis material was compiled from public sources. If its publication affects your rights → Request removal
Title in RussianOpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться»
🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection. Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
AI Summary & Key Takeaways
- 🦠 OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться» Атака получила название self-replicating prompt injection
- Скрытая инструкция заставляет агента не только выполнить действия злоумышленника, но и скопировать саму себя в другие…
OpenAI обнаружила новый тип атак на ИИ-агентов — вредоносные промпты научились «размножаться»
Related stories
Anthropic trains agent negotiators
✔️ Anthropic trains agent negotiators Agents are taught to negotiate on behalf of the user, and the company transfers the practices of professional negotiators into models in consultation with law firms. Researchers are interested in the protocols of interaction between agents and...
IS GitHub NO LONGER NEEDED? Claude built the replacement in 5 months
IS GitHub NO LONGER NEEDED? Claude built a replacement in 5 months What to do when AI writes code faster than conventional tools can process it? Anthropic set out to create its own Git replacement, Scion. In the video we analyze: 🟠Why AI agents forced us to reconsider...
Astana Hub and Ghent University open a joint laboratory of artificial intelligence and mathematics
Astana Hub and Ghent University open a joint laboratory of artificial intelligence and mathematics Enbekshi QazaQ
RUGoogle выпустила Harness² — фреймворк для самоулучшения ИИ-агентов
🤖 Google выпустила Harness² — фреймворк для самоулучшения ИИ-агентов Google Research открыла исходный код системы, которая позволяет ИИ-агентам самостоятельно улучшать свою работу без переобучения нейросети. Harness² даёт агентам возможность менять промпты, настройки памяти,…