METR published a report on how AI is accelerating its own development at Anthropic, but a lot of important information was cut from it...

METR опубликовали отчет, как ИИ ускоряет собственную разработку в Anthropic, но из него вырезано много важной информации, которая показывает за счёт чего такой рост METR говорят, что с августа по октябрь они работали с внутренними данными Anthropic и пришли к выводу, что по состоянию на октябрь, Anthropic улучшает возможности своих моделей ~ в 2 раза быстрее, чем в период с марта 2024 по октябрь 2025. Аналитики METR уверены, что дело не в росте вычислительных мощностей для обучения. А вот использование ИИ в самой разработке ИИ, по их не очень уверенной оценке, даёт ~ 80% текущего ускорения. Но подробности того, чем именно вызвано это ускорение, METR не пишет, так как их доклад редактировали сотрудники Anthropic. Один из 7 сооснователей Anthropic, главный архитектор, Сэм Маккэндлиш сказал, что они многое вырезали из отчета, потому что иначе все увидели бы: 1. коммерчески чувствительную информацию, 2. выдали бы дорожную карту конкурентам. Также он анонсировал, что в ближайшие недели выйдет собственный отчёт Anthropic о темпах прогресса ИИ. В сообществе реакция на отчет была неоднозначной, часть критики методологическая, например, указывают на то, что METR смотрели только на внутренние метрики Anthropic и не учли, что часть ускорения, приписанного ИИ, на деле может быть эффектом разросшегося внешнего рынка инфраструктуры для обучения моделей - рынка, который сами лаборатории профинансировали своими деньгами.