Looped Transformer сейчас одна из самых обсуждаемых архитектурных идей.

Looped Transformer сейчас одна из самых обсуждаемых архитектурных идей. В новом техническом отчёте цикл предлагают растянуть уже между токенами. Recurrent Looped Transformer делает декодер рекуррентным для каждого токена, включая и запрос, и ответ. Каузальный энкодер формирует общую KV-память. Для каждого нового токена декодер объединяет: > представление этого токена из энкодера > собственное финальное скрытое состояние от предыдущего токена > кеш недавних активаций со скользящим окном При декодере из 48 слоёв путь вычислений после t токенов проходит уже через 48t блоков декодера, хотя каждый отдельный токен всё равно выполняет фиксированное число блоков. То есть глубина вычислений растёт вместе с длиной последовательности, а стоимость обработки одного токена остаётся постоянной. Один и тот же переход между состояниями используется для предварительного обучения, SFT, генерации и повторного воспроизведения в RL. На границе между запросом и ответом состояние не сбрасывается. Во время RL replay состояния заново строятся с текущими весами модели, вместо повторного использования устаревших состояний из предыдущих запусков. Пока это именно архитектурное предложение. Автор прямо пишет, что прирост в рассуждениях, ускорение на железе и масштабирование RL — это цели, которые ещё не были измерены. Статья: https://github.com/yifanzhang-pro/recurrent-looped-tranformer