AlterNet: Оқыту арқылы тоқтатумен адаптивті-тереңдік Mixture-of-Experts архитектурасы эластикалық инференс үшін
arXiv:2611.08741v1 Хабарлама түрі: жаңа Анотация: Үлкен тілдік моделілердің (LLM) көпшілігі оқыту уақытында белгіленген белгілі бір есептеу талаптарына ие. Біз Mixture-of-Experts архитектурасын астырқы эксперттермен және жаңа динамикалық-тереңдік жүйесімен біріктіретін жаңа архитектураны ұсынамыз, бұл...
arXiv — cs.AI