Sakana предложила новую архитектуру памяти: нейросеть сама решает, когда вспоминать, а когда думать

Sakana предложила новую архитектуру памяти: нейросеть сама решает, когда вспоминать, а когда думать Sakana AI выпустила работу о новой рекуррентной архитектуре Continuous Memory Machine (CMM). Sakana предлагает разделение памятей по ролям и то, как они взаимодействуют на: - краткосрочную - история недавней активности нейронов. Она досталась CMM от прошлой разработки Sakana, Continuous Thought Machine. Там у каждого нейрона своя маленькая сеть, обрабатывающая его собственную историю, а «мыслью» модели считается синхронизация нейронов. - долговременную - это отдельное хранилище, которое живёт на протяжении всей задачи. И связующее звено - небольшой трансформер на каждом шаге позволяет двум памятям читать друг друга, писать друг в друга и перестраиваться. Модель может и проигнорировать их, если они не нужны. На классических задачах на память CMM либо лучшая, либо на уровне специализированных архитектур. В лабиринтах 39×39 средняя доля полностью решённых выросла с 37% до 62%, а внимание модели прочерчивает путь, так что за её рассуждением можно следить. Самое интересное - авторы посмотрели, куда модель направляет внимание, и увидели, что она сама выбирает стратегию. В задачах на запоминание она активно обращается к долговременной памяти, а в лабиринтах игнорирует обе памяти и просто считает и её этому никто не научил.