# AlterNet: Оқыту арқылы тоқтатумен адаптивті-тереңдік Mixture-of-Experts архитектурасы эластикалық инференс үшін

> Толық мәтін ағылшын тілінде

**Published:** 2026 ж. 9 қараша
**Author:** Alexander Kastius
**Source:** arXiv — cs.AI
**Language:** en-US
**HTML:** https://aiqazaqstan.com/kk/articles/alternet-adaptive-depth-mixture-of-experts-with-learned-halting-for-elas

arXiv:2611.08741v1 Хабарлама түрі: жаңа Анотация: Үлкен тілдік моделілердің (LLM) көпшілігі оқыту уақытында белгіленген белгілі бір есептеу талаптарына ие. Біз Mixture-of-Experts архитектурасын астырқы эксперттермен және жаңа динамикалық-тереңдік жүйесімен біріктіретін жаңа архитектураны ұсынамыз, бұл...

arXiv:2611.08741v1 Announce Type: new Abstract: Most LLM architectures have fixed compute demands determined at training time. We propose a novel architecture that combines the Mixture-of-Experts architecture with shallow experts and a novel dynamic-depth system to make the extent of a forward pass dynamically adjustable. Our approach lets the model automatically determine the compute needed for a given task, paired with a system to scale it down after training without retraining when the execution environment demands faster or cheaper inference. To achieve this, we introduce an iterative computation mechanism, sequence-level depth-based routing steered by a halting mechanism within the experts, a depth encoding that lets the model track its progress in the chain, and a regularization mechanism that incentivizes the model to use allocated compute efficiently. We present initial benchmarks and discuss future research directions.

---

*Материал бастапқы дереккөзден алынған: [arXiv — cs.AI](https://arxiv.org/abs/2611.08741). Түпнұсқаны ашу.*

**Тегтер:** #arXiv #Mixture-of-Experts #Elastic Inference #AlterNet

---

*AI Qazaqstan — non-commercial informational portal about AI in Kazakhstan. Machine translations and summaries are AI-generated.*