# AlterNet: Адаптивная глубина Mixture-of-Experts с обучаемой остановкой для эластичного инференса

> Полный текст доступен на английском

**Published:** 9 ноября 2026 г.
**Author:** Alexander Kastius
**Source:** arXiv — cs.AI
**Language:** en-US
**HTML:** https://aiqazaqstan.com/ru/articles/alternet-adaptive-depth-mixture-of-experts-with-learned-halting-for-elas

arXiv:2611.08741v1 Тип объявления: новый Абстракт: Большинство архитектур LLM имеют фиксированные вычислительные требования, определенные во время обучения. Мы предлагаем новую архитектуру, которая объединяет архитектуру Mixture-of-Experts с поверхностными экспертами и новой системой динамической глубины, чтобы сделать...

arXiv:2611.08741v1 Announce Type: new Abstract: Most LLM architectures have fixed compute demands determined at training time. We propose a novel architecture that combines the Mixture-of-Experts architecture with shallow experts and a novel dynamic-depth system to make the extent of a forward pass dynamically adjustable. Our approach lets the model automatically determine the compute needed for a given task, paired with a system to scale it down after training without retraining when the execution environment demands faster or cheaper inference. To achieve this, we introduce an iterative computation mechanism, sequence-level depth-based routing steered by a halting mechanism within the experts, a depth encoding that lets the model track its progress in the chain, and a regularization mechanism that incentivizes the model to use allocated compute efficiently. We present initial benchmarks and discuss future research directions.

---

*Материал агрегирован из первоисточника: [arXiv — cs.AI](https://arxiv.org/abs/2611.08741). Открыть оригинал.*

**Теги:** #arXiv #Mixture-of-Experts #Elastic Inference #AlterNet

---

*AI Qazaqstan — non-commercial informational portal about AI in Kazakhstan. Machine translations and summaries are AI-generated.*