The researchers suspected that the Kimi K3.1 model was trained on benchmark tasks, having access to hidden criteria for their performance...

Исследователи заподозрили, что модель Kimi K3.1 обучалась на задачах бенчмарков, имея доступ к скрытым критериям их оценки Исследователи из R40 Research прогнали через стандартные бенчмарки свежую модель Kimi K3.1 от Moonshot AI и заметили, что модель помнит то, чего ей не говорили. Решая тестовые задачи, K3.1 в своих рассуждениях периодически ссылается на инструкции, которых в условии задачи физически нет, но которые точь-в-точь совпадают с критериями, по которым скрыто оценивается решение. Самое показательное - когда исследователи немного изменили условие задачи так, чтобы оно прямо противоречило правилу, которое модель выдавала за инструкцию. Обычная модель в такой ситуации доверяет тому, что реально написано в задаче. А K3.1 - нет, она держится за то, что сама когда-то запомнила. В 3-х задачах из 4-х так происходило в 100% попыток, тогда как другие модели послушно следовали новому условию в 96% случаев. Авторы исследования предполагают, что причина в обучении модели на собственных попытках решения тех же самых бенчмарк-задач, где «учитель» в процессе тренировки имел доступ к скрытым критериям оценки. Знание об этих критериях просочилось в саму модель, возможно, непреднамеренно, как побочный эффект метода обучения, а не как сознательный обман со стороны разработчиков. Все данные.