Как пишет VentureBeat, обрамление вокруг модели искусственного интеллекта для кодирования — её системный запрос, инструменты и правила управления контекстом — может утроить стоимость решения задач программирования без заметного улучшения точности, согласно новому исследованию. Поставщики ИИ регулярно рекламируют приросты точности от обновлений обрамления. Однако, насколько более сложное обрамление действительно улучшает способность агента решать задачи программирования, остаётся неясным. Исследователи из Шаньдунского университета поставили этот вопрос на испытание. Они сравнили три производственных обрамления, фиксируя базовые модели и тестируя их на почти 500 задачах программирования. На более крупном наборе задач самые сложные и самые минималистичные обрамления продемонстрировали статистически эквивалентные показатели успеха в пределах пяти процентных пунктов, хотя третье обрамление показало худшие результаты. На 45 самых сложных задачах смена обрамления изменила, какие задачи агенты решали, примерно так же часто, как повторное выполнение неизменной настройки: 13% задач в каждом случае, измеряемых по медиане. Тем временем исследователи обнаружили, что стоимость за задачу варьировалась до трёх раз в зависимости от обрамлений, использующих одну и ту же модель. Для технических руководителей и разработчиков результаты служат предупреждением против выбора кодирующих агентов на основе небольших различий в бенчмарках. Команды должны обращать внимание как на успех задач, так и на стоимость за задачу. Почему бенчмарки обрамлений могут вводить в заблуждение Общественные лидерборды часто сравнивают кодирующие агенты, работающие с разными обрамлениями, что затрудняет изоляцию вклада обрамления. Некоторые исследования сообщают, что фиксирование модели и смена обрамлений могут привести к разбросу в 23.8 балла по оценке задачи и 27.4 процентных пункта в Pass@1. Тем временем Zhipu AI рекламирует прирост в 2.4 балла для своего обрамления ZCode по сравнению с Claude Code, используя одну и ту же модель. Новое исследование предупреждает, что эти числа трудно интерпретировать по двум причинам. Во-первых, многие опубликованные сравнения запускают каждую конфигурацию только один раз, в то время как повторное выполнение тех же тестов при тех же условиях может привести к сильно различающимся результатам. Одно отдельное исследование, упомянутое в статье, показало, что 10 повторов точно такой же настройки на SWE-bench Verified привели к разбросу оценок от 2.2 до 6.0 процентных пунктов. Без повторного выполнения базовой конфигурации команды не могут определить, связано ли различие в оценке с обрамлением или с случайной вариацией между запусками. Во-вторых, сравниваемые обрамления часто не находятся на равных условиях. В одном исследовании, упомянутом в статье, одно и то же обрамление набрало 19.1% с минимальным адаптером и 73.4% с полным адаптером, используя одну и ту же базовую модель. Условия тестирования также могут искажать результаты. Когда исследователи проверили ранние веб-версии, они обнаружили, что 312 из 439 испытаний DeepSeek и Qwen (71%) вернули оригинальное исправление, написанное человеком, с GitHub. Исследователи исключили эти запуски и заблокировали доступ к сети в своей финальной оценке. Тестирование производственных обрамлений в лоб Чтобы измерить, что вносит обрамление, исследователи протестировали три производственных обрамления: Claude Code, OpenCode и mini-SWE-agent, минималистичное открытое обрамление, написанное на около 100 строках Python, которое предоставляет единственный инструмент bash и не выполняет компакцию контекста. Исследователи протестировали пять моделей через все три обрамления: две локально обслуживаемые модели с открытыми весами (Qwen3.6-35B-A3B и Qwen3.8-27B) и три модели, обслуживаемые через API (DeepSeek-V4-Flash, GLM-5.3-Flash и HY4-Preview). Они также использовали Claude Opus 5 внутри Claude Code в качестве опорной модели высшего уровня. Они оценили агентов в изолированных контейнерах по 492 оффлайн задачам из SWE-bench Verified: 45 самых сложных задач, которые требуют от человека от одного до более четырёх часов, и оставшиеся 447 задач. Все пять моделей были протестированы на подмножестве из 45 задач, но только две модели Qwen были протестированы на более крупном пуле. Более сложные обрамления не показали последовательного преимущества в точности. На пуле из 447 задач тяжеловесный Claude Code и минималистичный mini-SWE-agent набрали в пределах двух процентных пунктов друг от друга и были признаны статистически эквивалентными в пределах пяти пунктов как на обеих моделях Qwen. На 45 самых сложных задачах примерно одна из восьми проблем (13%) переключалась между успешным и неуспешным решением при смене обрамления. Повторное тестирование того же обрамления показало ту же медианную частоту переключения. Даже тестирование официального командного обрамления DeepSeek на его собственной модели DeepSeek-V4-Flash показало процент успешных решений в диапазоне других трёх обрамлений — и самую высокую стоимость за испытание среди всех протестированных обрамлений на этой модели. «Обрамление поставщика на его же модели не даёт преимущества в оценке», — пишут исследователи. Единственным эффектом обрамления, который преодолел статистический шум, было ухудшение. OpenCode отставал на 9 пунктов в крупном пуле задач. На Qwen3.8-27B примерно половина этого разрыва была связана с запусками, которые были прерваны, когда модель достигала предела вывода в 32 000 токенов, часто до того, как она могла написать кодовый патч. Claude Code достигал того же предела на той же модели, но автоматически подсказывал модели продолжить. Хотя более сложные обрамления не показали последовательных приростов точности, выбор обрамления оказал значительное влияние на затраты на вывод. «При одной и той же модели, одних и тех же задачах и одном прайс-листе стоимость за задачу различается до 3 раз в зависимости от обрамлений», — пишут исследователи. На GLM-5.3-Flash испытание в Claude Code стоило почти в два раза больше, чем в mini-SWE-agent и более чем в три раза больше, чем в OpenCode. Однако OpenCode также останавливался после меньшего количества вызовов модели, что способствовало его более низкой стоимости. Все три обрамления вернули примерно одинаковое количество текста из вызовов инструментов. Разница также начиналась с первого вызова API, где обрамления отправляли очень разные объемы фиксированного контекста через свои системные запросы и схемы инструментов: 16 581 токен в Claude Code, 7 025 в OpenCode и 829 в mini-SWE-agent. Поскольку агенты повторно отправляют транскрипт разговора на каждом шаге, это начальное накладное время умножается на количество шагов, и исследователи предполагают, что Claude Code добавляет дополнительный вес, повторно отправляя промежуточные блоки рассуждений модели. Хотя 96% до 99% входных токенов в этих циклах попадают в кэш запросов поставщика, пересчет токенов по различным ставкам кэша поставщиков увеличивает счет, не изменяя, какое обрамление было самым дорогим для данной модели. Рейтинг стоимости также меняется в зависимости от модели. На DeepSeek-V4-Flash mini-SWE-agent потребовалось 141 вызов модели за испытание, в то время как Claude Code — 104, и это стоило немного больше — около 15.2 цента за испытание против 14.6 цента. Подтверждение налога на обрамление Эти результаты подтверждают исследование HarnessTax, проведенное исследователями из Лаборатории облачных вычислений UC Berkeley и Arena. Команда из Беркли оценила семь моделей на Claude Code, Codex CLI от OpenAI и Pi, минимальном открытом обрамлении с всего четырьмя базовыми инструментами. Они протестировали 30 задач из каждого из двух бенчмарков, повторяя каждую задачу три раза, и обнаружили, что выбор обрамления изменял процент успешных решений всего на несколько пунктов, в то время как затраты на вывод увеличивались до пяти раз. Налог на обрамление показал, что разница в стоимости может начинаться с первого вызова модели. Во всех семи моделях начальный контекст Claude Code в среднем был более чем в 10 раз больше, чем у Pi, в основном из-за более длинных инструкций и схем инструментов. Исследование HarnessTax показало, что более сложные обрамления не приводят к значительному улучшению средних показателей успеха задач на протестированных бенчмарках. Новое исследование делает этот вывод ещё более значимым, тестируя модели Qwen с 27 и 35 миллиардами параметров на более крупном наборе задач и измеряя различия обрамлений по сравнению с обычной вариацией между запусками. Как отмечают исследователи Шаньдунского университета относительно Qwen3.6-35B-A3B, самой низкобалльной модели из протестированных, «самая слабая модель не является самой чувствительной к обрамлению». Практические выводы для строителей предприятий Эта проблема стоимости распространяется и на кодирующих агентов. В сентябрьском опросе VentureBeat Intelligence 23 из 107 предприятий, использующих платформу оркестрации агентов, не имели автоматизированного способа остановить расходы токенов агентов. Исследование предлагает несколько практических уроков для технических руководителей и разработчиков, создающих ИИ-приложения или выделяющих бюджеты на инструменты кодирования: читайте бенчмарки поставщиков с учётом уровня шума; убирайте предварительные фразы и схемы инструментов; настраивайте бюджеты мышления в зависимости от пары модель-обрамление. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.