Смягчение деградации способностей при самоулучшении LLM с помощью регуляризации геометрии представлений
arXiv:2610.12855v1 Тип объявления: new Аннотация: On-Policy Self-distillation — это парадигма самоулучшения, позволяющая большим языковым моделям (LLM) улучшать свои способности, используя одну и ту же модель одновременно в роли учителя и ученика в разных контекстах условий.