Клуб журналов Hugging Face: Центрирование оценок стабилизирует обучение с подкреплением, не связанное с политикой

Описание

Да, суть статьи, как вы, наверное, видели, заключается в том, чтобы определить фундаментальную причину, по которой RL-обучение для студентов LLM становится нестабильным, когда существует несоответствие между механизмом вывода и механизмом обучения, и авторы вроде как разбираются в математике…