如何在没有训练的情况下修复神经网络：MIT AI 修正 Qwen 权重

Как пишет VentureBeat, исследователи Массачусетского технологического института (MIT) из лаборатории CSAIL сообщили, что с помощью языковой модели GPT-6 Astra компании OpenAI почти в шесть раз подняли результат небольшой открытой модели Qwen на математических тестах. Для этого они напрямую редактировали её веса, то есть числовые параметры, которые определяют поведение модели. Авторы работы — Рикия Такехи, Джейден Теох, Алекс Чжан и Омар Хаттаб. Описание эксперимента они опубликовали в исследовательском блоге 2 ноября. Подход они назвали «программированием в пространстве весов». Astra проверяли на способность анализировать нейросети и менять их без обычных процедур обучения для создания правок. Наиболее показательный пример касался языковой модели. Вмешательство Astra подняло результат Qwen3.5-0.8B на тесте MATH-500 с 7,9% до 48,1%, при этом было затронуто примерно 0,016% весов. Улучшение в основном дало исправление повторяющихся рассуждений, и именно это различие определило как технические выводы, так и споры об их последствиях. Эксперименты также касались более широкой возможности: ИИ-систем, которые исследуют, ремонтируют и создают другие нейросети, работая непосредственно с их внутренним устройством. Юйчен Цзинь, технический специалист Databricks и бывший соучредитель и технический директор Hyperbolic Labs, не связанный с исследованием, написал в X, что если исследователям удастся сделать метод надёжным, разработчики получат новый способ поддерживать модели, выявлять нежелательное поведение, менять его и улучшать результаты без традиционной дообучки или переобучения. Точечные правки весов могут сократить время и вычислительные ресурсы, нужные для некоторых улучшений, однако исследователи пока не подтвердили такую экономию. Исследователь Voyage AI Чандан Сингх, ранее работавший в Microsoft AI, в публикации в X также выразил схожий оптимистичный взгляд на результаты. По его мнению, тот же подход может ускорить развитие ИИ, позволяя способным моделям менять другие модели или, в перспективе, самих себя. Обычная дообучка и другие методы постобучения улучшают существующую модель, используя примеры, обратную связь или вознаграждения для расчёта изменений её числовых параметров, или весов. Переобучение может означать обновление существующей модели или построение новой с нуля. В экспериментах MIT отдельная ИИ-модель исследовала целевую сеть, анализировала её поведение и придумывала прямые правки весов, не используя привычный градиентный процесс обучения. Оба подхода меняют внутреннюю работу модели, но различаются способом определения изменений. Подход исследователей всё же требовал вычислений и в эксперименте с Qwen — практических задач и тестирования. Он не доказал, что прямое редактирование стабильно превосходит традиционное обучение по скорости, стоимости или эффективности. Обсуждение в X пока вызвало как энтузиазм по поводу оптимизации, управляемой ИИ, так и возражения против её возможных последствий. Исследователи предсказали сдвиг в том, как разработчики будут улучшать нейросети. Скептик в комментариях усомнился, показали ли результаты более сильное базовое рассуждение. Максим Фурнес, глава Pause AI, группы, которая требует приостановить разработку передовых ИИ-систем до тех пор, пока их безопасность не будет доказана и они не будут находиться под демократическим контролем, считает, что успешное редактирование весов может ускорить опасный прогресс. Веса определяют, как нейросеть преобразует входные данные в результат. Обычное обучение корректирует эти числа, измеряя ошибки и рассчитывая изменения для улучшения результатов. Градиентный спуск — это семейство методов, которые делают такие корректировки. Команда MIT вместо этого попросила уже обученную языковую модель изучить веса, понять их функцию и решить, что менять. В одних экспериментах веса передавались как текст, в других Astra получила контролируемую среду Python для изучения более крупных сетей. «Вместо обучения модели могут рассматривать сырые веса как читаемый и редактируемый код: диагностировать сбои и исправлять их напрямую», — написал Такехи в X. Эта аналогия предполагает ИИ-отладчик для нейросетей. Разработчик мог бы описать сбой и попросить ассистента изучить реализацию модели, найти причину и предложить исправление. Это пока потенциальный рабочий процесс, а не установленная коммерческая возможность. У аналогии есть и технические ограничения. Отдельные веса не обязательно несут понятный смысл именованных программных функций. Astra опиралась на способности, приобретённые в ходе собственного обучения; исследователи проверяли, как она применяла эти способности к другой сети. Такехи предсказал более широкие изменения: «Мы думаем, что веса нейросетей скоро будут нативно оптимизироваться языковыми моделями, которые осознанно рассуждают о весах». Небольшое исправление потребовало серьёзного исследования. В эксперименте с Qwen исследователи предоставили практические вопросы, доступ к весам через Python и ограниченный бюджет запусков модели. Astra использовала эти ресурсы, чтобы изучить поведение и оценить предлагаемые изменения. По данным документации эксперимента, в условиях оценки результаты были следующими: точность на MATH-500 у исходной Qwen3.5-0.8B составила 7,9%, у отредактированной — 48,1%; на GSM8K — 13,8% и 67,1%; на IFEval, где проверяется следование инструкциям, — 21,0% и 62,3%; доля ответов MATH-500, упиравшихся в лимит токенов, снизилась с 93,0% до 33,1%. В самой успешной попытке исследователи использовали 50 запросов оценки, каждый из которых мог содержать сотни примеров. Попытка включала 158 диалоговых ходов, 80 запусков Python и 20,3 часа работы, из них 4,7 часа ожидания из-за сбоя сервиса. Хотя итоговое исправление затронуло небольшую долю модели, его поиск потребовал значительного исследования. Авторы связали прирост с тем, что Astra удалила из отдельных компонентов слоёв 15 и 19 числовое направление, связанное с повторами. Исправление затронуло 131 072 веса. До вмешательства Qwen часто повторяла текст, пока не исчерпывала допустимую длину вывода. Правка уменьшила эту проблему и позволила модели завершать больше ответов, используя уже имевшиеся у неё способности. Таким образом, эксперимент продемонстрировал форму ремонта модели. Он не доказал, что Astra добавила Qwen в шесть раз больше математических знаний. Дополнительные эксперименты проверяли, может ли Astra распознавать поведение и реализовывать его непосредственно через веса. По словам Такехи, Astra определила четыре игровые сети как Breakout, Pong, Pac-Man и Freeway, хотя архитектуры, входы и доступные действия у них совпадали. Исследователи не давали ни инструментов, ни списка возможных игр. В задаче симуляции вождения обученный контроллер постоянно застревал у съезда. Команда передала Astra веса контроллера, описание сцены и одну неудачную траекторию. Astra вернула исправление в одном ответе. Её изменения затронули 3,5% весов и, по сообщению, дали 100% успешных проездов. Исследователи также попросили Astra построить сети по упрощённым правилам игр и исходному коду, не позволяя ей проверять сети до оценки. В экспериментах MinAtar сеть Astra для Breakout набрала 517,4 балла. Аналогичная сеть, обученная методом проксимальной оптимизации политики (PPO) за 500 миллионов шагов, набрала 25,3. Преимущество примерно в двадцать раз сохранилось для Breakout. В Seaquest и немного в Asterix Astra уступила сетям PPO, обученным за 500 миллионов шагов, однако во всех трёх играх она превзошла базовые сети, обученные за 100 миллионов шагов. Эти эксперименты вышли за рамки ремонта существующего сбоя: Astra перевела некоторые игровые стратегии в числовые сети. Однако заданные правила и ограниченные среды оставили исследователям вопросы о возможности обобщения. Реакции в X варьировались от скепсиса до предупреждений об ускорении. Аккаунт @1a3orn утверждал, что в ветке объявления Такехи не было важного негативного результата: Astra не смогла добиться математического улучшения у Gemma 3 270M, которая в эксперименте не имела серьёзной проблемы с повторами, как у Qwen. «Значит, если в рассуждениях LLM есть явный изъян, LLM могут помочь его убрать», — написал аккаунт, поставив под сомнение, показала ли работа более сильное базовое рассуждение. Комментатор также отметил, что авторы включили неудачи в блог-пост. Максим Фурнес выразил иное возражение. В его профиле на X он указан как бывший исследователь и инженер глубокого обучения и глава PauseAI. Процитировав объявление Такехи, Фурнес написал: «Боже, пусть это будет хайпом. Ведь если это реально, это может сильно ускорить прогресс, что очень плохая новость и приближает нас к глобальной катастрофе. Какое безрассудное направление исследований». Пост он завершил призывом к PauseAI. Организация выступает за остановку разработки передовых ИИ-систем, пока разработчики не смогут продемонстрировать их безопасность, а общество не сможет сохранять демократический контроль. Фурнес выдвинул прогноз и политическую оценку. Эксперименты не подтвердили предсказанных им последствий. Тем не менее его возражение отражает возможное противоречие: методы, которые помогают исследователям понимать поведение моделей, могут также помочь разработчикам наращивать возможности. Обсуждение поднимает два разных вопроса: способен ли ИИ надёжно понимать и улучшать нейросети через прямые правки весов и как более широкое внедрение повлияет на безопасность и темп развития. Эксперименты дали предварительные данные по первому вопросу, но второй не решили. Неудачи ограничили аргументы в пользу самосовершенствующегося ИИ. Продолжение с Gemma помогло отличить ремонт от добавления новых способностей. В отличие от Qwen в установке исследователей, Gemma редко попадала в затяжные повторы. По словам авторов, правки Astra не дали подтверждённого математического улучшения. Отдельный эксперимент выявил ещё одно ограничение. Astra сначала не смогла отличить модель, обученную соглашаться с предположениями пользователей, от модели, обученной отвечать правильно. Успех пришёл только после того, как исследователи предоставили измерения внимания во время работы. Эти неудачи показали, что доступ только к весам не всегда даёт адекватное объяснение поведения или успешное вмешательство. Рекурсивное самосовершенствование потребовало бы ещё одного шага: улучшения ИИ помогали бы ему создавать последующие улучшения, потенциально усиливая процесс от цикла к циклу. Прямое редактирование весов может стать одним из путей, но исследователи не продемонстрировали такого цикла и не доказали, что выгоды будут накапливаться. Дальнейшие тесты должны определить, какие поведения редактор способен надёжно понимать и менять, сколько исследований требует каждая правка и смогут ли независимые исследователи воспроизвести результаты. Ранее исследователи уже изучали прямое редактирование обученных моделей. Проект ROME, представленный в работе, опубликованной на NeurIPS 2022, исследовал фактические ассоциации в трансформерных моделях и вносил точечные изменения весов. Его оценки проверяли, обобщаются ли правки на разные формулировки и сохраняют ли неродственные факты. MEMIT, представленный на ICLR 2023, расширил эту работу на обновление тысяч ассоциаций одновременно. Исследователи MIT сосредоточились на универсальной языковой модели, которая изучала веса и придумывала изменения для разных задач. Оценка практической ценности подхода потребует сравнения со специализированными методами редактирования, традиционным обучением и более простыми вмешательствами. Для конкретного сбоя разработчикам придётся выяснить, даёт ли прямая правка преимущества перед изменением настроек генерации или улучшением обучения. Заявленные прирosты в тестах не отвечают на этот более широкий инженерный вопрос. Потенциальные применения в бизнесе остаются гипотезами. Исследователи не сообщали о внедрениях у клиентов или бизнес-результатах. Одно из возможных применений связано с поддержкой небольших моделей, которые используются в специализированных процессах. Компания могла бы предоставить ассистенту по редактированию воспроизводимый сбой, доступ к весам и контролируемую среду, а затем попросить его исследовать проблему и предложить исправление. Локальный ассистент, который регулярно зависает при генерации структурированных ответов, мог бы стать тестовым случаем. Если бы исследователи проследили сбой до исправимого внутреннего механизма, точечная правка могла бы повысить долю завершённых ответов без обычного переобучения. Аудит моделей мог бы стать ещё одним применением. Ассистент, который связывал бы внутренние структуры с поведением, мог бы помогать исследователям объяснять сбои и проверять способы их устранения. Неудачный тест с угодничеством, проведённый только по весам, показал необходимость тщательно оценивать такую перспективу. Экономику также придётся измерять. Сокращение повторяющегося вывода могло бы сэкономить вычисления, но поиск и проверка исправления требуют затрат. Исследование не показало шестикратного снижения расходов наряду с шестикратным приростом математической точности. Доступ определит внедрение. Организации, контролирующие веса моделей, могли бы экспериментировать напрямую. Клиенты, которые полагаются только на размещённый API, должны будут добиться, чтобы провайдер выполнил такое вмешательство. Официальная страница модели Qwen указывает лицензию Apache 2.0 и описывает назначение небольшой модели как прототипирование, специализированную адаптацию и исследования или разработку. Командам предприятий также придётся управлять каждым исправлением как новой версией модели. Им следует сравнивать её работу с исходной версией на репрезентативных задачах, проверять нежелательные изменения и сохранять возможность отката. Например, улучшение извлечения данных из счетов не докажет, что изменённая модель всё ещё справится с многоязычными документами или нестандартными форматами. Это предлагаемые требования к проверке; исследователи не сообщали о таких конкретных сбоях. Команда опубликовала журналы экспериментов и артефакты редактирования и сообщила, что разрабатывает бенчмарк и поддерживающую среду. Результаты обозначили возможную новую роль ИИ: непосредственную работу с механизмами других ИИ-систем. Дальнейшие исследования должны показать, сможет ли этот подход обеспечить надёжную поддержку моделей, ускорить развитие возможностей или то и другое сразу. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.