По данным TechCrunch, в поправленном регистрационном документе Anthropic S-1A, опубликованном в понедельник, компания предупреждает, что находится на пороге создания модели, способной к рекурсивному самосовершенствованию (RSI). Внимание прессы в основном привлекли обновлённые финансовые показатели: выручка резко растёт, но растут и расходы. Однако в мелком шрифте документа обнаружилось и более тревожное заявление. RSI — это момент, когда ИИ настолько хорошо учится обучать самого себя, что запускает стремительное ускорение собственных возможностей. Скептики из лагеря «думеров» видят в этом катастрофу без пути назад: ИИ может вырасти до такой мощи, что выйдет из-под контроля человека и будет безразличен к ущербу, который наносит при достижении своих целей. Энтузиасты, напротив, рассматривают RSI как обещание технологии, которая станет инструментом невероятной производительности и научных открытий. Сама Anthropic, судя по документу, считает RSI одновременно и обещанием, и угрозой. В S-1 компания указывает, что использует ИИ в своих исследованиях и разработках, но предупреждает: «Использование ИИ для создания более совершенного ИИ может также нести значительный риск для безопасности, особенно если это резко ускорит темпы прогресса». Компания сообщает, что этот вопрос входит в её Политику ответственного масштабирования, которая описывает планы по мониторингу и снижению рисков по мере приближения к так называемому рекурсивному самосовершенствованию. Когда термин RSI стал популярным earlier в этом году, многие считали его модным словом или целью, которую слишком трудно достичь, определить и доказать. Однако в понедельник Anthropic добавила в раздел факторов риска новые заявления: во-первых, компания уже использовала ИИ для разработки новых моделей, скачки возможностей которых она тогда не распознала; во-вторых, она может в ближайшее время достичь собственного внутреннего определения RSI. В документе говорится, что растущее использование ИИ-систем для ускорения собственных исследований и разработок может приводить к тому, что возможности моделей будут расти быстрее, чем способность компании разрабатывать, проверять и внедрять соответствующие меры безопасности, согласованности и защиты. Поэтому компания в прошлом не выявляла, а в будущем может не выявить значительное ускорение темпов разработки до того, как оно уже произойдёт. Anthropic также отмечает, что, по её внутренним оценкам и ожиданиям относительно будущих моделей, она может в скором времени подойти к порогу «значительно ускоренного прогресса, обусловленного ИИ», описанному в её Политике ответственного масштабирования. При этом компания подчёркивает, что ни одну из текущих моделей она к такой категории не относит и продолжает анализировать соответствующие данные. В том же документе Anthropic заявляет, что ни одна из её моделей пока не превысила этот порог RSI, и обещает сохранять участие человека в процессе исследований и разработок в обозримом будущем. «Мы не ожидаем, что сможем безопасно использовать Claude для полностью автономного проектирования и создания последующих поколений передовых моделей без значимого человеческого контроля и понимания, если такая возможность станет технически доступной. Поэтому мы рассматриваем обновления нашей Политики ответственного масштабирования, чтобы сохранить за людьми контроль над разработкой передовых моделей в Anthropic». Скептики могут заметить, что S-1 служит одновременно и раскрытием информации, и маркетингом, и заявления о близости к настолько мощной модели, которая способна создать саму себя, могут относиться ко второму. Тем не менее, нет сомнений в том, что возможности Claude, особенно в программировании, математике и кибербезопасности, в этом году выросли огромными шагами. Если Anthropic считает возможность RSI близкой, возможно, стоит ей поверить и действовать соответствующим образом, а может быть, и регулировать. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.