Как сообщает Google Research, новая методика, основанная на концепции сна, предлагает два этапа — консолидацию памяти и мечтание, которые поддерживают непрерывное обучение языковых моделей без потери старых знаний. На этапе консолидации памяти анализ показывает, что закрепление знаний можно рассматривать как задачу структурированного, низкорангового сжатия. Модель не должна копировать каждую деталь своих краткосрочных следов в параметры. Вместо этого она определяет компактный набор направлений, которые лучше всего сохраняют как собственное поведение модели в процессе обучения, так и семантические качества, оцениваемые по целям обучения. Этот подход объясняет взаимодополняющие роли двух сигналов: дистилляция на основе поведения согласует консолидацию с траекториями, которые модель фактически будет генерировать во время вывода, уменьшая несоответствия, которые могут возникать при обучении только на распределениях, созданных преподавателем. В то же время семантическая награда изменяет то, что стоит сохранить, приоритизируя направления, которые сохраняют смысл и соответствующее поведение задачи, а не просто соответствуют вероятностям токенов. Расширение параметров предоставляет необходимую емкость для записи этих выбранных воспоминаний без перезаписи ранее консолидированных знаний. На этапе мечтания теория характеризует случайную активацию экспертов и выбор образцов на основе награды как механизмы для улучшения геометрии обучения. Введение различных моделей экспертов расширяет набор направлений градиента, исследуемых во время синтетической генерации, подставляя модель в более богатую коллекцию обновлений, чем те, которые вызываются ее обычными данными в состоянии бодрствования. Фильтрация на основе градиентов подчеркивает синтетические опыты, которые несут наиболее полезный сигнал для обучения, усиливая информативные направления, сохраняя при этом структуру базового пространства градиентов. В совокупности эти шаги приводят к более сбалансированному ландшафту оптимизации: обучение меньше зависит от небольшого числа направлений, градиенты лучше кондиционированы, и модель может более стабильно продвигаться в улучшении своих возможностей. В этом контексте мечтание — это не просто самосгенерированное увеличение данных; это целенаправленный процесс диверсификации, выбора и консолидации обновлений, через которые модель совершенствует себя. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.