Вышел open-source фреймворк для RL-сред агентов, а NVIDIA показала, как на проверяемых средах по очереди обновлять модель и харнесс. Оба проекта говорят о том, что ИИ-агента бесполезно учить в среде, которая врёт. Среда - это песочница с задачей, где агенту дают цель, инструменты и способ проверить, справился он или нет. Если проверка дырявая, модель быстро находит вариант обхода. Дальше она учится искать лазейку, а не делать работу. Стартап Preference Model выложили в open source свой Karotte - фреймворк для сборки RL-сред, это инструмент, чтобы такие песочницы собирать аккуратнее. Docs Code. А NVIDIA выпустила статью под названием VERA, в котором говорится о следующем шаге. Мало иметь честную среду, надо ещё понять, что именно улучшать: саму модель или харнесс вокруг неё. В VERA из реальных прогонов собирают проверяемые песочницы, а потом по очереди обновляют то модель, то харнесс. Правку оставляют только, если она проходит проверку на отдельном наборе задач. Так прирост не записывают не на тот счёт.