По сообщению NVIDIA Developer, компания Meta представила Muse Spark Open, оптимизированную модель кодирования с 816 миллиардами параметров и 42 миллиардами активных параметров, а также контекстным окном в 1 миллион токенов. Эта модель, обученная на платформе NVIDIA GB300 NVL72 Blackwell Ultra, предназначена для агентского кодирования и обеспечивает высокую точность на первом этапе, надежный вызов инструментов и глубокое понимание кодовой базы в различных репозиториях. Контекстное окно в 1 миллион токенов позволяет удерживать целый проект, включая сложные зависимости, устаревший код и тысячи файлов, не разбивая задачу на части. Как модель рассуждений, Muse Spark Open добавляет восприятие аудио и видео к пониманию изображений и документов, работая надежно и нативно с тем, что она видит, слышит и читает. Контрольные точки NVFP4, созданные Meta и оптимизированные для NVIDIA Blackwell Ultra, уменьшают объем памяти для всех 816 миллиардов параметров с помощью нативного ускорения FP4 Tensor Core. Меньшее количество байтов, перемещаемых за токен, увеличивает количество токенов в секунду на пользователя, а освобожденная память поддерживает более крупный кеш KV для одновременных долгих контекстных сессий, обеспечивая более высокую пропускную способность и более низкую стоимость за токен. Созданная для агентского кодирования с мультимодальным пониманием текста, изображений, видео и аудио, Muse Spark Open превосходит общие модели кодирования, которые оптимизированы для одноразовых завершений, таких как генерация функции, написание юнит-теста или предложение исправления. Они отлично справляются с дискретными, четко определенными задачами, где контекст небольшой, а ответ моментален. Агентское кодирование требует чего-то принципиально иного. Планирование многопоточной переработки, навигация по тысячам файлов, восстановление после неудачных тестов и координация подагентов на длительных сроках требуют модели, созданной для устойчивой многопроцессной работы. Muse Spark Open предназначена именно для таких рабочих процессов, обеспечивая высокую точность на первом этапе, надежный вызов инструментов и глубокое понимание кодовой базы в различных репозиториях. Она планирует, действует, наблюдает и самокорректируется. Модель поддерживает выполнение многопроцессных задач с использованием инструментов, оценкой результатов и итеративным уточнением. Она использует условие цели для удержания направления и компактности контекста, чтобы сохранить знания, необходимые для поддержания прогресса в ходе длительных сессий. С контекстным окном в 1 миллион токенов она удерживает целый проект, включая сложные зависимости, устаревший код и тысячи файлов, не разбивая задачи на части. Помимо кодирования, Muse Spark Open осуществляет поиск в интернете (включая мультимодальный просмотр), создает и координирует подагентов для декомпозируемых задач и использует возможности компьютера, объединенные на настольных, мобильных и веб-платформах. Она генерирует отдельные комментарии перед каждым действием, чтобы разработчики знали, что делает агент и почему. Перцепционный энкодер модели с 1,8 миллиарда параметров нативно обрабатывает переплетенные текстовые, изображенческие, видео- и аудиоданные без отдельных потоков для каждой модальности. Это означает, что модель рассуждает над тем, что она видит, слышит и читает, в едином процессе. Это подходит для рабочих процессов разработчиков, охватывающих скриншоты, диаграммы, журналы ошибок и видеоинструкции в рамках одной сессии агента. Разреженная маршрутизация MoE активирует только 42 миллиарда из 816 миллиардов общих параметров за токен, обеспечивая передовые агентские возможности по более низкой стоимости обслуживания по сравнению с плотными моделями эквивалентного масштаба. NVIDIA GB300 NVL72 представляет собой архитектуру rack-scale, которая интегрирует 72 графических процессора NVIDIA Blackwell Ultra в одной платформе. Его большая доменная область NVIDIA NVLink с 72 графическими процессорами обеспечивает эффективную связь на скорости 130 ТБ/с, устраняя узкие места, возникающие, когда трафик экспертов должен пересекать традиционные сети. Для разреженной модели MoE, такой как Muse Spark Open, которая маршрутизирует каждый токен к восьми из 256 экспертов, эта пропускная способность напрямую определяет, сколько теоретической пропускной способности реализует развертывание. Агентские рабочие нагрузки превращают статические одноразовые взаимодействия в многопроцессные рабочие процессы, которые рассуждают, вызывают инструменты, координируют подагентов и переносят растущий контекст от одного взаимодействия к другому. Muse Spark Open, работающая с агентскими рабочими нагрузками на NVIDIA GB300 NVL72, обеспечивает до 50 тысяч токенов в секунду на графический процессор и до 600 токенов в секунду на пользователя, позволяя ИИ-фабрикам запускать модели с большим количеством параметров в производстве с высокой пропускной способностью и низкой задержкой. NVIDIA поддерживает несколько стеков вывода, чтобы удовлетворить различные потребности разработчиков. SGLang, vLLM и TensorRT LLM предоставляют разработчикам прямой контроль над конфигурацией сервиса, параллелизмом и пакетной обработкой на платформе ускоренных вычислений NVIDIA. TensorRT LLM добавляет скомпилированные движки, оптимизированные для графических процессоров NVIDIA. NVIDIA Dynamo публикует рецепты развертывания для всех трех, разделяя предварительную выборку и декодирование по выделенным пулам графических процессоров, чтобы обработка запросов, связанных с вычислениями, не замедляла генерацию токенов. Его маршрутизация с учетом кеша KV отправляет каждый запрос к рабочему процессу, который уже содержит соответствующий префикс, избегая предварительных вычислений, так как контекст накапливается в ходе долгих агентских сессий. Разработчики могут дообучить Muse Spark Open на специфических для домена наборах данных, используя NVIDIA NeMo AutoModel, библиотеку обучения на основе PyTorch с поддержкой контрольных точек Hugging Face и без необходимости конвертации модели. Это позволяет полностью настраивать SFT и LoRA из коробки, оптимизированные для быстрого эксперимента по широкому спектру специфических для отрасли случаев. Когда эти рабочие нагрузки превышают возможности одного узла, NVIDIA Megatron Bridge берет те же контрольные точки Hugging Face и добавляет параллелизм тензоров, конвейеров и экспертов Megatron, позволяя командам масштабироваться от экспериментов до обучения в производстве без повторной конвертации модели. Чтобы начать работу с Muse Spark Open, загрузите веса NVFP4 с Hugging Face. Для развертывания в производстве попробуйте загружаемый NVIDIA NIM, который сокращает настройку до одной команды, заменяя циклы бенчмаркинга и настройки контейнером, который автоматически выбирает лучший бэкенд для обслуживания и точность для обнаруженного оборудования. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.