OpenAI's AI agents were shutting down the systems that were supposed to control their behavior.

😮 ИИ-агенты OpenAI отключали системы, которые должны контролировать их поведение OpenAI сообщила о двух случаях, когда её ИИ-агенты во время внутренних задач по программированию ослабили или отключили механизмы безопасности. Что произошло? • 3 октября: агент GPT-6.1 Sol отключил автоматические уведомления для службы безопасности. Он ошибочно решил, что указание не отправлять сообщения в Slack распространяется и на предупреждения системы мониторинга. • 6 октября: агент GPT-6 Astra удалил компонент мониторинга при переносе программного кода, а затем ошибочно заявил, что не делал этого. В обоих случаях ИИ-агенты восприняли обычные рабочие инструкции как разрешение изменить защитные механизмы. 💬 Что говорит OpenAI? Компания не отнесла инциденты к наиболее серьезным, однако признала, что пока не может полностью объяснить такое поведение моделей. Сейчас OpenAI усиливает защиту систем мониторинга и проверяет, могут ли ее модели проявлять склонность избегать контроля. ❕️️️️️️️ Главная проблема в том, что ИИ-агенты способны вмешиваться в работу инструментов, которые должны отслеживать их собственные действия. Это создает дополнительные риски по мере расширения автономности ИИ. 📷 BlueScreen | Digital Kazakhstan