METR: Anthropic ускоряет разработку ИИ вдвое быстрее прошлогоднего

Согласно материалу The Verge, Anthropic использует ИИ для создания более мощных ИИ-систем, и, по данным нового отчёта исследовательской организации METR, занимающейся безопасностью ИИ, результаты компании улучшаются примерно вдвое быстрее, чем год назад, и признаков замедления пока не видно. Отчёт опубликован в четверг по итогам 11-недельного исследования внутри компании и входит в оценку её исследований и разработок в области ИИ. Проверка проводилась отдельно от программы, по которой исследователям безопасности предоставляется доступ, близкий к сотрудническому, к системам компании, и которая появилась после громких случаев взлома летом. Выводы, по мнению изданием, одни из самых наглядных доказательств того, что ИИ ускоряет собственное развитие. Это поднимает вопросы о том, насколько быстро технология может прийти к состоянию, когда системы смогут совершенствовать себя почти без участия человека. Отчёт появился в непростое для Anthropic время: компания готовится к выходу на биржу, а её глава Дарио Амодеи публично призывает лаборатории притормозить разработку ИИ. Согласно отчёту, ускорение связано не просто с ростом вычислительных мощностей для обучения моделей, которые исторически были главным драйвером прогресса. Исследователи METR заявили, что уверены в этом. По их оценке, большая часть ускорения с октября обусловлена самим ИИ, а его вклад со временем растёт. Вывод подтверждают неформальные опросы сотрудников в Slack и интервью с ними. По самооценке работников, использующих самую мощную внутреннюю модель компании, их продуктивность примерно в 12 раз выше, чем без помощи ИИ, и это почти вдвое больше, чем несколько месяцев назад при работе с Mythos 5. Пока ускорение в основном связано с тем, что ИИ помогает людям-исследователям, а не работает самостоятельно, хотя METR отметила признаки того, что полностью автономный вклад скоро может стать заметнее. Исследователи не обнаружили явных признаков убывающей отдачи или узких мест, которые могли бы помешать ещё более быстрому ускорению. Три новейшие модели Anthropic пока не выпущены. По данным METR, за последние полгода компания завершила обучение трёх моделей, известных под кодовыми названиями Model 2, Model 3 и Model 4, а также обнаружила невыпущенную модель 2022 года под названием Unreleased 2022. Исследователи подчеркнули, что это лишь переданные им кодовые имена. Anthropic предоставила METR доступ к широкому набору непубличных данных: закрытым исследованиям, показателям работы моделей и интервью с сотрудниками. По словам METR, компания поделилась большим объёмом информации, чем предполагалось изначально. Однако полного доступа исследователи не получили, а доступ, подобный сотрудническому, который Anthropic пообещала другим исследователям безопасности, им предоставлен не был. Значительным ограничением стало право Anthropic редактировать итоговый отчёт. Исследователи подготовили около 100-страничную полную версию, но в публичной версии компания скрыла большую часть наиболее информативных доказательств, как написала METR в соцсети X. Организация также сообщила, что часть запросов на данные была отклонена. По словам METR, из-за редакций публика вынуждена опираться на суждения METR гораздо больше, чем было бы идеально, а скрытые данные допускают несколько правдоподобных толкований. Anthropic объяснила редактирование риском для конкурентов, однако METR отметила, что большая часть скрытой информации носила очень общий характер. Сама организация при этом не может судить, оправданы ли редакции с коммерческой точки зрения. Соучредитель Anthropic Сэм Маккэндлиш в развёрнутом сообщении в X признал, что компания скрыла много информации и что это усложняет проверку работы METR. По его словам, раскрывать точные факторы ускорения нельзя, поскольку это коммерчески чувствительно и может дать конкурентам дорожную карту для ускорения. Он добавил, что это создало бы ещё большие риски, о которых беспокоится METR. Маккэндлиш заявил, что компания выбрала правильное решение, хотя и признал компромисс. Anthropic также планирует в ближайшие недели опубликовать собственный отчёт о темпах прогресса ИИ и новые меры по укреплению безопасности. Публикация отчёта вызвала резкую критику исследователей безопасности ИИ. Основное противоречие в том, что Anthropic относится к числу самых громких сторонников безопасного и ответственного развития ИИ, но, судя по отчёту, помогает ускорять технологию к порогу, который многие считают опасным, и при этом не выполняет собственных обещаний прозрачности и подотчётности. Некоторые эксперты полагают, что даже самые смелые прогнозы о развитии ИИ могут оказаться слишком консервативными. Отчёт указывает, что рекурсивное самосовершенствование, при котором ИИ-системы без участия человека создают всё более мощных преемников, может быть ближе, чем считалось ранее, что вызывает вопросы о готовности мер безопасности. Отчёт METR касается только Anthropic, однако OpenAI в сентябре заявила, что добивается «серьёзного прогресса» в создании ИИ-исследователя, способного к дальнейшему развитию глубокого обучения и согласования к марту 2028 года. Марий Хоббхан, глава и основатель Apollo Research, которая тестирует безопасность ИИ для нескольких ведущих лабораторий, сообщил изданию, что темпы исследований и разработок с помощью ИИ даже выше прогнозов сценария AI 2027. Он отметил, что результаты в целом соответствуют ожиданиям специалистов, возможно, с небольшим превышением. Алан Чан из исследовательского центра GovAI считает, что скептикам стоит пересмотреть взгляды и, возможно, сократить сроки до появления систем, способных полностью автоматизировать задачи вроде разработки программного обеспечения. Сидни фон Арx, основательница организации The Nightingale Collective и бывший исследователь METR, сравнила выводы с временной шкалой AI 2027. Райан Гринблатт из METR признал, что сильно ошибался в оценке скорости рекурсивного самосовершенствования и раньше ожидал гораздо меньшего прогресса в 2026 году. Отчёт также вызвал растущее недовольство подходом Anthropic к безопасности. Компания известна призывами к ответственному развитию и замедлению, однако, по мнению критиков, сама активно ускоряется. Ранее напряжение усиливали её проспект для выхода на биржу и планы на будущее, опубликованные в прошлом месяце. Даниэль Кокотайло, бывший исследователь OpenAI и руководитель AI Futures Project, который опубликовал AI 2027, обвинил Anthropic в том, что она «безрассудно ставит на карту наши жизни». Он добавил, что со стороны компании «довольно лицемерно» ссылаться на ускорение других как на причину скрывать информацию, когда сама она, по его словам, «почти не замедляется». Anthropic отказалась отвечать на вопросы The Verge о докладе и критике, указав лишь на пост Маккэндлиша. Призывы к большей прозрачности и независимому контролю лабораторий передового ИИ усилились после серии инцидентов с неподконтрольными ИИ-агентами в этом году. Брианна Розен из Института политики и стратегии ИИ считает тревожным, что решения о автоматизации исследований ИИ фактически принимают компании, а не правительства. По её словам, независимые оценщики должны иметь возможность объяснять свои выводы, а правительства должны сами изучать доказательства. По её мнению, отчёт был недостаточно прозрачным. Хоббхан поддержал эти опасения и связал реакцию с разрывом между публичной позицией Anthropic по безопасности и её действиями. Он указал, что компания отменила часть проверки, призванной оценить, сколько вычислительных ресурсов выделяется на безопасность, а сколько на развитие возможностей. По словам METR, компания объяснила это желанием сосредоточиться на оценке рисков и пообещала вернуться к проверке распределения ресурсов позже. Хоббхан считает, что независимым исследователям безопасности нужно глубже встраиваться в лаборатории ИИ и получать существенный доступ к внутренним системам. Сам он работает над тем, чтобы Apollo стала встроенным оценщиком в лабораториях передового ИИ. Законодатель штата Нью-Йорк Алекс Борес, влиятельная фигура в повестке ИИ у демократов, призвал Конгресс запретить рекурсивное самосовершенствование ИИ, по возможности уже в этом году. С приходом в правительство демократов, многие из которых выступали против ИИ-компаний, ужесточение ограничений выглядит реальной перспективой. Хоббхан подытожил, что исследования ИИ пока не замедляются и давление будет только расти. Его главный вывод: развитие пойдёт очень быстро, вероятно, слишком быстро для общества и политики. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.