NVIDIA Developer сообщает, что патч ИИ-агента может успешно проходить тесты, но проваливаться при загрузке реальной модели на сервере и обработке запросов. Оценка изменений в программном обеспечении для сервировки вывода требует проверки полного пути сервировки, включая корректность результатов через публичный интерфейс системы. SWE-Serve, разработанный с участием команды SGLang, анализирует этот разрыв с помощью 53 задач, основанных на объединённых изменениях в SGLang, открытой системе для сервировки крупных языковых моделей. Из 19 задач с проверками живой сервировки те же патчи проходили 69,4% времени, когда проверки исключались, но только 45,9% с полным проверяющим. Существующие бенчмарки на уровне репозитория оценивают ИИ-агентов по общим задачам программной инженерии, в то время как бенчмарки вывода часто сосредоточены на генерации ядра или оптимизации производительности. SWE-Serve, в свою очередь, тестирует изменения на уровне репозитория по всей цепочке сервировки вывода, включая активацию модели, декодирование, кэширование, планирование, API сервировки и производительность в реальном времени. Для оценки этой более широкой инженерной работы SWE-Serve превращает 83 объединённых запроса на изменение SGLang в 53 исполняемые задачи, охватывающие шесть семейств инженерии вывода. Двенадцать задач выполняются на CPU, в то время как 41 использует один NVIDIA H100. Этот первый релиз не оценивает другие движки вывода, многопроцессорное выполнение или многонодевую сервировку. Тридцать семь задач исходят из одного запроса на изменение, остальные 16 объединяют от двух до шести связанных изменений. Всего бенчмарк основывается на 83 объединённых запросах на изменение SGLang. Команда SGLang, партнёр по запуску SWE-Serve, внесла идеи для определения сложных задач, предложила особенно требовательные запросы и помогла сформировать подход к проверке корректности. Каждая задача даёт агенту инструкцию и контейнеризированный код SGLang до целевого изменения. Патч агента считается успешным, если он удовлетворяет скрытому проверяющему задачи на заявленном оборудовании. Он никогда не сравнивается с эталонной реализацией. Эти изменения значительны: медиана эталонного решения модифицирует 553 строки в семи файлах. Типичный проверяющий имеет семь тестов для нового поведения и 10 регрессионных тестов. Девятнадцать задач запускают реальный сервер, а три накладывают откалиброванные ограничения по производительности на H100. Некоторые сбои проявляются только после запуска реального сервера. Команда SGLang внесла идеи для проверки от конца до конца, включая рекомендации для специфических тестов сервировки моделей. SWE-Serve включает 19 задач, которые загружают требуемую модель и тестируют патч агента через интерфейс живой сервировки. В этих задачах 627 патчей проходят 45,9% времени под полным проверяющим. Когда проверки живой сервировки исключаются, этот показатель возрастает до 69,4%. Другими словами, 147 патчей изменили статус с провала на успех, когда проверки живой сервировки были исключены. Производительность моделей варьируется значительно. В каждой из лучших протестированных конфигураций, средний показатель pass@1 колебался от 34,6% до 75,5%. Ни одна модель не показывает наивысший результат во всех категориях задач, и конфигурации с похожими общими оценками могут иметь очень разные затраты и время выполнения. Мы оценили 11 моделей и 31 конфигурацию усилий модели с помощью mini-swe-agent, минимального агента программной инженерии, который использует только Bash, в условиях закрытой книги. Каждая конфигурация трижды проходила полный бенчмарк из 53 задач. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Берни Сандерс предлагает запретить 'суперинтеллект' с тюремным сроком Anthropic обнаружил новый фермент, сравнимый с Crispr Contrastive-LM представила CLM-8B, модель, которая ускоряет действия агентов до 9 раз по сравнению с Jev. TypeSafe AI представила модель Jev для принятия решений без генерации текста. Meta представила новые функции для ИИ-агента Muse, включая цифрового аватара и интеграцию с умными очками.