Материал түпнұсқа тілінде: Русский.
Новые модели Anthropic, OpenAI начали читать и писать веса других моделей
Первый пример показали исследователи из MIT, которые использовали в эксперименте GPT-6 Astra. Они дали Astra сырые веса и попросили разобраться, что там происходит. Модель начала рассуждать, какая часть сети, за что отвечает, и на основе этого что-то меняла или писала с нуля. В одном из эксперименто
2026 ж. 4 қараша · Дереккөз: Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)
Новые модели Anthropic, OpenAI начали читать и писать веса других моделей
Первый пример показали исследователи из MIT, которые использовали в эксперименте GPT-6 Astra.
Они дали Astra сырые веса и попросили разобраться, что там происходит. Модель начала рассуждать, какая часть сети, за что отвечает, и на основе этого что-то меняла или писала с нуля.
В одном из экспериментов она написала маленькие игровые сети, которые обогнали PPO, обученный сотни миллионов шагов. В другом - поправила 0.016% весов Qwen3.5-0.8B, после чего у модели заметно выросла точность на математических задачах. Hugging Face быстро воспроизвёл результат.
А вчера похожую историю показал CTO юридической компании Legora AI с моделью Fable.
Модель сама написала разреженные веса маленькой сети на ~100k параметров, которая отличает настоящие юридические цитаты от фейковых в судебных решениях и сделала это лучше, чем обычное обучение.
Надо отметить, что это пока не история, когда модели сами себя улучшают до AGI.
Здесь сильная модель смотрит на веса другой (обычно небольшой) и правит их снаружи. Большой скачок у Qwen, например, во многом получился из-за того, что Astra убрала известную проблему с зацикливанием, а не научила модель чему-то принципиально новому.
То есть модели начинают понимать, какие части весов за что отвечают, и могут либо точечно устранить проблемы, либо генерировать веса маленьких сетей под конкретную задачу.