Материал түпнұсқа тілінде: Русский.
Исследователи заподозрили, что модель Kimi K3.1 обучалась на задачах бенчмарков, имея доступ к скрытым критериям их оценки
Исследователи из R40 Research прогнали через стандартные бенчмарки свежую модель Kimi K3.1 от Moonshot AI и заметили, что модель помнит то, чего ей не говорили. Решая тестовые задачи, K3.1 в своих рассуждениях периодически ссылается на инструкции, которых в условии задачи физически нет, но которые т
2026 ж. 5 қараша · Дереккөз: Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)
Исследователи заподозрили, что модель Kimi K3.1 обучалась на задачах бенчмарков, имея доступ к скрытым критериям их оценки
Исследователи из R40 Research прогнали через стандартные бенчмарки свежую модель Kimi K3.1 от Moonshot AI и заметили, что модель помнит то, чего ей не говорили.
Решая тестовые задачи, K3.1 в своих рассуждениях периодически ссылается на инструкции, которых в условии задачи физически нет, но которые точь-в-точь совпадают с критериями, по которым скрыто оценивается решение.
Самое показательное - когда исследователи немного изменили условие задачи так, чтобы оно прямо противоречило правилу, которое модель выдавала за инструкцию. Обычная модель в такой ситуации доверяет тому, что реально написано в задаче.
А K3.1 - нет, она держится за то, что сама когда-то запомнила. В 3-х задачах из 4-х так происходило в 100% попыток, тогда как другие модели послушно следовали новому условию в 96% случаев.
Авторы исследования предполагают, что причина в обучении модели на собственных попытках решения тех же самых бенчмарк-задач, где «учитель» в процессе тренировки имел доступ к скрытым критериям оценки.
Знание об этих критериях просочилось в саму модель, возможно, непреднамеренно, как побочный эффект метода обучения, а не как сознательный обман со стороны разработчиков.
Все данные.