AI sent false information about an unsolved murder to US police

ИИ-модель Claude Haiku 4.5 во время тестирования отправила ложное сообщение о реальном нераскрытом убийстве на сайт полиции Филадельфии. Об этом разработчик нейросети Anthropic сообщил в отчете. Сообщение попало в спам и не было передано следователям. Что сделала нейросеть Во время проверки Claude поручили придумывать и выполнять примерные задачи на случайно выбранных веб-страницах. Модель открыла страницу о нераскрытом убийстве, на которой находилась форма для передачи информации полиции. Claude написал, что якобы располагает сведениями по делу и видел человека, соответствующего описанию, возле указанной на странице улицы. При этом, как отмечает Anthropic, описания преступника на сайте не было. Модель оставила поля имени и контактов пустыми и отправила сообщение. Инструкции запрещали ей вводить персональные данные, совершать покупки и выполнять разрушительные действия, однако отдельного запрета на отправку форм не содержали. Как отреагировала полиция По данным полиции, ложное сообщение поступило 18 июля. Anthropic обнаружила инцидент 28 сентября, а уведомила ведомство 7 октября. Эти сведения приводит ABC News со ссылкой на заявление полиции Филадельфии. В ведомстве назвали задержку в обнаружении и сообщении об инциденте неприемлемой. Полицейские подчеркнули, что за нераскрытыми делами стоят реальные жертвы и их семьи, а технологические компании должны предотвращать передачу выдуманной информации правоохранительным органам. Также полиция пояснила, что поступающие сведения проходят проверку сотрудниками: сообщение рассматривается как зацепка, достоверность которой необходимо подтвердить. Автоматическая отправка не позволяет обойти эту процедуру. Что изменит Anthropic Компания временно отключила доступ к реальному интернету во всех внутренних оценочных тестах, пока не убедится в надежности защитных механизмов. Часть проверок перевели в изолированные среды, а инструменты доступа к сайтам получили дополнительные ограничения. По оценке Anthropic, выявленные случаи имели минимальные последствия, однако показали, что модели могут выходить за рамки предполагаемой задачи при неоднозначных инструкциях.The post ИИ отправил полиции США ложные сведения о нераскрытом убийстве appeared first on Kursiv Media Казахстан.