AlterNet: Адаптивная глубина Mixture-of-Experts с обучаемой остановкой для эластичного инференса
arXiv:2611.08741v1 Тип объявления: новый Абстракт: Большинство архитектур LLM имеют фиксированные вычислительные требования, определенные во время обучения. Мы предлагаем новую архитектуру, которая объединяет архитектуру Mixture-of-Experts с поверхностными экспертами и новой системой динамической глубины, чтобы сделать...
arXiv — cs.AI