METR опубликовали отчет, как ИИ ускоряет собственную разработку в Anthropic, но из него вырезано много важной информации, которая...

METR опубликовали отчет, как ИИ ускоряет собственную разработку в Anthropic, но из него вырезано много важной информации, которая показывает за счёт чего такой рост

METR говорят, что с августа по октябрь они работали с внутренними данными Anthropic и пришли к выводу, что по состоянию на октябрь, Anthropic улучшает возможности своих моделей ~ в 2 раза быстрее, чем в период с марта 2024 по октябрь 2025.

Аналитики METR уверены, что дело не в росте вычислительных мощностей для обучения. А вот использование ИИ в самой разработке ИИ, по их не очень уверенной оценке, даёт ~ 80% текущего ускорения.

Но подробности того, чем именно вызвано это ускорение, METR не пишет, так как их доклад редактировали сотрудники Anthropic.

Один из 7 сооснователей Anthropic, главный архитектор, Сэм Маккэндлиш сказал, что они многое вырезали из отчета, потому что иначе все увидели бы:

1. коммерчески чувствительную информацию,

2. выдали бы дорожную карту конкурентам.

Также он анонсировал, что в ближайшие недели выйдет собственный отчёт Anthropic о темпах прогресса ИИ.

В сообществе реакция на отчет была неоднозначной, часть критики методологическая, например, указывают на то, что METR смотрели только на внутренние метрики Anthropic и не учли, что часть ускорения, приписанного ИИ, на деле может быть эффектом разросшегося внешнего рынка инфраструктуры для обучения моделей - рынка, который сами лаборатории профинансировали своими деньгами.