Как пишет VentureBeat, исследователи из MIT и Sakana AI разработали фреймворк Recursive Self-Improvement via Fast Tree Search (SIFT), который позволяет сократить затраты на оценку изменений в кодирующих агентах. Эти агенты могут улучшать свою работу, изменяя подсказки, инструменты и код, но определение полезных изменений требует значительных ресурсов. Каждое изменение должно быть протестировано, и поиск по множеству кандидатов может занять тысячи часов вычислительных ресурсов и стоить тысячи долларов. SIFT использует отдельную языковую модель для сравнения кандидатов до начала дорогостоящих тестов, что позволяет предложить новые изменения, пока предыдущие кандидаты все еще оцениваются. На полиглотном бенчмарке один запуск SIFT достиг 35,1% точности за менее чем пять часов, используя 42 часа CPU и около 150 долларов в кредитах API. Для команд, настраивающих кодирующих агентов для выполнения четко определенных задач, SIFT предлагает способ более избирательно тратить ресурсы на оценку, а не запускать каждый кандидат через полный набор тестов. Инженеры могут настраивать инструкции кодирующего агента, добавлять инструменты или изменять его реакцию на сбои. Однако ручная настройка требует времени экспертов и ограничивает поиск идеями, которые приходят в голову людям. Автоматизация части этого процесса позволяет системе изменять свой собственный исходный код. В цикле самоулучшения агент анализирует сбои и предлагает исправление для своего окружения. Переработанный агент пытается выполнить целевые задачи, и его оценка помогает определить, какая версия станет основой для следующего исправления. Поскольку исправление изменяет систему, которая будет предлагать или выполнять последующую работу, улучшения могут накапливаться. Ранее подходы управляли этим поиском различными способами. Машина Гёделя Дарвина (DGM) поддерживает архив агентов и проверяет кандидатов на все более крупных наборах задач, начиная с 10, затем 50, с полным полиглотным бенчмарком, который оставляется для окончательной оценки. Машина Хаксли-Гёделя (HGM) учитывает, как агент и его потомки выполняют задачи при выборе следующего направления поиска. Основной проблемой является стоимость тестирования модификаций окружения агента. В разбивке затрат в статье предлагается, что предложение исправления стоит около 12 центов, а парный вызов судьи - около 4,4 цента. SIFT использует до 10 таких вызовов для каждого кандидата, что составляет примерно 44 цента. Оценка агента на 50 задачах полиглота стоит около 6 долларов и 2,6 часа CPU. Тестирование кандидатного изменения на нескольких задачах обходится недорого, но его оценка может быть обманчивой: он мог столкнуться с необычно простыми или сложными задачами. Использование более крупного тестового набора дает командам лучшую основу для принятия решения о том, какую версию улучшить дальше, но выполнение этих дополнительных задач требует времени и денег. Как отмечают авторы, узкое место заключается в «плохом соотношении сигнал-к-стоимости существующих методов оценки». SIFT строится на основе DGM, но вставляет более дешевый источник обратной связи в поиск. Его центральная идея заключается в том, что языковая модель может сравнить две версии агента и определить, какая из них, вероятно, покажет лучшие результаты, даже до завершения нового кандидата большого теста. После генерации модифицированного агента SIFT запускает новую версию на четырех задачах кодирования. Эта быстрая проверка выявляет изменения, которые ломают агента или оставляют его неспособным решить базовые проблемы, прежде чем система потратит больше ресурсов на сравнение и тестирование. Затем SIFT просит LLM в роли судьи сделать парные сравнения между новым агентом и до 10 высокорейтинговыми агентами, уже находящимися в архиве. Сравнение двух реализаций ближе к просьбе менеджера по найму выбрать между финалистами, чем к запросу абсолютной оценки. Рейтинг формируется на основе этих парных выборов с использованием модели Бредли-Терри, статистического метода для оценки относительной силы на основе побед и поражений. Рейтинг не заменяет тестирование, а помогает решить, где стоит тратить время на тестирование и дальнейшую разработку. Новый кандидат затем помещается в очередь приоритета для более крупной, времязатратной оценки. Его приоритет сочетает в себе рейтинг судьи и рейтинг точности на бенчмарке. Рабочий процесс избегает ожидания полной оценки предыдущего исправления. Генерация исправлений, оценка и бенчмарковая оценка могут проходить параллельно. SIFT обрабатывает различные ветви параллельно. Когда SIFT выбирает родителя для улучшения, он учитывает рейтинг судьи, рейтинг точности агента на наборе задач поиска и то, как часто этот агент уже был выбран. Если кандидат все еще ждет оценки, он временно наследует точность своего родителя. В одном из тестов на полиглотном бенчмарке кандидат под названием Node 9 добавил короткую инструкцию для запуска тестов после редактирования, вместе с инструментом «test_runner», который возвращает структурированные сбои. Поздний потомок добавил больше механизмов. Оба агента решили 44% задач в меньшем тесте поиска, так что этот тест не мог показать, какой из них будет работать лучше на более широком бенчмарке. При оценке по полиглоту более простая версия набрала 35,6%, по сравнению с 33,8% для более сложной версии, построенной на ее основе. Исследователи протестировали SIFT на полиглоте, TerminalBench 2.1 и валидационном подмножестве SWE-bench из 60 задач. Их эксперименты включали несколько моделей кодирования и LLM-судей. Они сравнили SIFT с DGM и HGM, измерили улучшение по сравнению с каждой необработанной версией агента и запустили SIFT без LLM-судьи, чтобы выяснить, повлиял ли судья на результаты. На полиглоте SIFT показал лучшую точность с меньшими вычислительными затратами, используя как открытую модель Qwen3-Coder-30B, так и закрытую модель o3-mini. С Qwen3-Coder-30B он немного опередил HGM, используя примерно на треть меньше часов CPU. С o3-mini он достиг 35,1% точности, по сравнению с 30,7% у DGM. Запуск SIFT без LLM-судьи набрал 29,8%, что указывает на то, что судья помог добиться прироста. Результаты на подмножестве SWE-bench также благоприятствовали выбору, основанному на судье, хотя и менее явно. Два агента, выбранных судьей, в среднем набрали 50,4% и 53,8% за четыре оценки. Два лучших выбора из запуска без судьи в среднем набрали 44,6% и 50,4%. Начальный агент набрал 40,0%. Авторы статьи не предоставляют ссылку на самостоятельную реализацию SIFT, но разработчики не обязательно должны воссоздавать весь стек самоулучшения. SIFT построен на основе окружения DGM, поэтому команды, работающие с реализацией DGM, уже имеют большую часть основного цикла: генерация модификаций агента, поддержание архива кандидатных версий и оценка их производительности. SIFT добавляет парного судью и рейтинг Бредли-Терри, а также делает поиск асинхронным, чтобы кандидаты могли расширяться, пока другие все еще оцениваются. SIFT был протестирован только на кодирующих агентах, но тот же основной подход может применяться к другим самоулучшающимся агентам, где есть четкий способ измерить, сработало ли изменение. Первым шагом является определение небольшого, дешевого тестирования, которое быстро отбрасывает явно плохие модификации. Для корпоративного агента это может быть небольшой набор репрезентативных внутренних задач, который выявляет сломанные инструменты, регрессии или изменения, которые нарушают базовые требования. Второй элемент - это LLM-судья, который сравнивает кандидатные реализации парно. Вместо того чтобы пытаться предсказать точный балл бенчмарка, судье нужно лишь предоставить полезный порядок, какой вариант выглядит более многообещающим. Наконец, конвейер должен быть асинхронным. Генерация кандидатов, оценка и более дорогостоящие тесты должны проходить параллельно, чтобы многообещающие ветви могли продолжать расширяться, пока предыдущие кандидаты все еще тестируются. Здесь заключается большая часть ускорения SIFT: дерево поиска продолжает расти, не дожидаясь завершения каждой оценки. Выбор судьи также создает возможности для оптимизации. Исследователи обнаружили, что более дешевый судья сохраняет большую часть глобального сигнала рейтинга на TerminalBench, хотя более сильная модель была более надежной среди лучших кандидатов. Они предполагают, что может работать многоуровневая настройка, где более дешевый судья используется для большинства сравнений, а более сильный - ближе к вершине рейтинга. SIFT показывает, как сам цикл улучшения может стать более эффективным, комбинируя более дешевые сигналы оценки с асинхронным поиском. Это позволяет командам исследовать больше кандидатных улучшений, не увеличивая затраты на оценку в том же темпе. Однако дальнейшие бенчмарки все еще необходимы для подтверждения того, что изменение действительно улучшило агента, и исследователи должны были заблокировать исправления, которые ослабляли оценочное окружение. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.