💰 Anthropic готовится к IPO и предупреждает инвесторов: её модели могут представлять «экзистенциальный риск для человечества». Из 261 страницы проспекта около 80 посвящены рискам. Компания допускает, что продвинутые модели могут сопротивляться отключению, скрывать информацию или вести себя подобно шантажисту. Ещё сложнее их проверять, если модель распознаёт, что проходит тест. При этом Anthropic пишет, что для сохранения лидерства ей нужен непрерывный выпуск новых моделей. Ранее компания сообщила: за одну выбранную неделю на исследования безопасности пришлось около 6% вычислительных ресурсов для ИИ-исследований. Это показатель за неделю, а не доля всего бюджета. Раскрывать риски перед IPO нормально. Необычно то, насколько подробно Anthropic описывает опасности технологии, на которой строится её бизнес. @ai_machinelearning_big_data