NVIDIA выпустила инструменты Cosmos для моделей мира в симуляциях

По сообщению NVIDIA Developer, разработчики физического ИИ, которые работают с моделями мира, сталкиваются с двумя задачами: адаптацией моделей под свои сенсоры, задачи и данные и надёжным внедрением моделей в приложения. Платформа NVIDIA Cosmos решает обе. Cosmos — это набор базовых моделей мира и инструментов разработки для физического ИИ. Cosmos Framework предоставляет навыки агентов и рецепты для обучения моделей мира, обработки мультимодальных данных, оптимизации и инференса. Микросервисы Cosmos NIM обеспечивают ускоренный на GPU инференс через прикладные API. В материале рассмотрены обе части: симуляция и развёртывание. Cosmos Framework — открытый и полностью модульный фреймворк для обучения моделей мира, их оптимизации и инференса, который поддерживает полный жизненный цикл разработки модели с помощью новых навыков агентов. Он уже выходит за рамки Cosmos 3 и поддерживает NVIDIA Alpamayo, GR00T, Qwen, pi0.5 и другие совместимые модели из Hugging Face. Для обучения доступны модели на тексте, изображениях, видео, аудио и действиях. Адаптацию можно выполнять методом LoRA с обновлением небольшой части параметров или полным контролируемым дообучением (SFT), которое меняет все параметры модели. Данные загружаются из форматов JSONL, WebDataset, LeRobot или через собственные адаптеры, обучение идёт на нескольких GPU, а чекпоинты сохраняются, чтобы можно было продолжить прерванный запуск. Для ускорения и автоматизации постобучения разработчик может подключить соответствующий навык агента. Платформа теперь охватывает онлайн- и офлайн-пути обучения с подкреплением. В число новых поддерживаемых конвейеров входят: DPO — офлайн-оптимизация предпочтений; GRPO — онлайн-обучение с подкреплением с правилом или моделью вознаграждения и развёртываниями на vLLM; PPO — обучение с подкреплением по схеме «актор–критик» с замороженными эталонной моделью и критиком, включая обучение воплощённых политик в симуляции; OPD — дистилляция на основе текущей политики от замороженного учителя; DiffusionNFT — онлайн-обучение с подкреплением для диффузионных моделей мира. Роли развёртывания, вознаграждения и обучения можно запускать на общих GPU или на отдельных группах. Поддерживаемые симуляторы подключаются для сбора опыта. Модели можно оптимизировать для инференса: дистиллировать для уменьшения размера или числа шагов генерации и квантовать для снижения потребления памяти. Совместимые чекпоинты работают с Hugging Face Diffusers, PyTorch, SGLang, vLLM-Omni, vLLM, TRT-LLM, TRT-Edge-LLM и NVIDIA NIM. Качество, точность и использование GPU оцениваются, а загрузка вычислительных ресурсов максимизируется. Фреймворк можно использовать вместе с агентами. Навыки настройки, инференса, постобучения и устранения неполадок загружаются из каталога .agents/skills. Агенту ставится ограниченная задача: выполнить постобучение заданного чекпоинта на заданном наборе данных по заданному рецепту, зафиксировать версии всех ревизий, проверить данные, разделить эпизоды обучения и оценки, запустить пробный прогон, сохранить конфигурацию и остановиться по достижении заданного лимита GPU-часов. Затем модель экспортируется и сравнивается с базовой на отложенных данных при трёх разных значениях seed, а оценка повторяется при поддерживаемой меньшей точности. Фиксируются качество, пиковое потребление памяти и задержка. Cosmos Framework предоставляет рецепты постобучения и инференса для симуляции роботов, генерации реалистичных сцен, многокамерной симуляции вождения и оценки хирургических политик. Новые рецепты симуляции и примеры чекпоинтов Cosmos 3 Nano позволяют разработчикам с помощью навыков агентов оценивать примеры чекпоинтов и адаптировать Cosmos 3 Nano к собственным сенсорам, пространству действий и доменам данных. Эти чекпоинты работают с PyTorch и vLLM-Omni и протестированы на GPU NVIDIA Hopper и Blackwell. Рецепт помогает выбрать количество GPU, конфигурацию памяти и параметры инференса. Для симуляции автономных транспортных средств оба чекпоинта принимают текстовый промпт и элементы управления World Scenario Map (WSM), которые описывают полосы, объекты, разметку, дорожные знаки и границы дороги. Совместная генерация RGB и LiDAR дополнительно использует элементы управления HD-карты в виде диапазонных карт и поддерживает необязательные начальные наблюдения LiDAR. Промпты описывают погоду, освещение, время суток и состояние дороги, а префиксы задают контекст конфигурации камер и угла обзора. Необязательные начальные изображения с камер задают визуальный контекст внешнего вида генерируемой сцены. Cosmos3-Nano-Transfer-Auto использует двунаправленную генерацию: он одновременно восстанавливает весь многовидовой клип и предназначен для офлайн-генерации синтетических данных. Модель поддерживает входное и выходное видео с частотой 30 кадров в секунду, до 400 кадров в разрешении 480p или 720p; более длинные последовательности создаются авторегрессивным разбиением на фрагменты. Если изменить промпт, дневной заезд превращается в дождливую ночь при сохранении той же дорожной схемы и траекторий автомобилей. Такие вариации помогают обучать и оценивать модели восприятия и вождения в разных погодных условиях и при разном освещении. После настройки Framework примеры на четырёх GPU запускаются из корня репозитория. Для Transfer-Auto используется опубликованная конфигурация примера с семью синхронизированными видео WSM, подписями для каждой камеры, условием по RGB первого кадра и управлением LiDAR по HD-карте. Эталонный запуск создаёт семь видео в разрешении 720p (297 кадров при 30 FPS) и 99 проходов LiDAR. Файл sample_outputs.json показывает успешность выполнения, а файл lidar.safetensors проверяется на конечность значений дальности и интенсивности. Затем нужно убедиться в совпадении WSM и согласованности между камерами и LiDAR. Для собственных сценариев и адаптации конфигурации камер есть руководства по рендереру WSM и постобучению Transfer-Auto, а для преобразования облаков точек и визуализации — утилиты визуализации LiDAR. Видео 1. Генерация видео с кругового обзора и LiDAR с помощью Cosmos3-Nano-Transfer-Auto. Cosmos3-Nano-Sim-Auto — каузальный вариант Cosmos3-Nano-Transfer-Auto с дистилляцией в несколько шагов, который обеспечивает авторегрессивную потоковую генерацию. Он создаёт наблюдения постепенно, пока политика автономного автомобиля или действия водителя-человека обновляют сценарий через рендерер WSM. Сгенерированные наблюдения с камер и LiDAR возвращаются в политику, что позволяет проводить оценку в замкнутом контуре. Для Sim-Auto эталонный запуск воспроизводится с помощью опубликованного чекпоинта-примера Sim-Auto и предварительно отрендеренных элементов управления WSM. Модель синхронно создаёт видео с камер и наблюдения LiDAR в авторегрессивном режиме. Для интерактивного управления человеком есть отдельный режим Sim-Auto Interactive Drive. Результаты эталонного запуска записываются в каталог outputs/sim_auto/daytime_scene/, и для них применяются те же проверки, что и для Transfer-Auto. Рисунок 1. Схема симуляции в замкнутом контуре Cosmos. Видео 2. Генерация многовидового видео и LiDAR с помощью Cosmos3-Nano-Sim-Auto. В робототехнической симуляции Cosmos3-Nano-Sim-Transfer преобразует видео глубины и промпт в RGB-видео с изменённым освещением, текстурами и фонами при сохранении геометрии и движения. Для демонстраций роботов модель меняет вид от третьего лица, сохраняя действия, состояния и записи с камеры на запястье. Видео 3. Глубина, сегментация, контуры или размытое видео превращаются в детальные RGB-наблюдения по языковым промптам, при этом симулятор сохраняет физическое состояние. Cosmos3-Nano-Sim-Bimanual генерирует следующее визуальное наблюдение по сцене и действиям робота. Модель поддерживает интерактивную симуляцию двуруких манипуляторов для платформ YAM и AgiBot, которыми управляет политика или оператор с джойстиками. Разница с Sim-Transfer в том, что Sim-Transfer создаёт изображение по обновлённому состоянию физического симулятора, а Sim-Bimanual формирует следующее наблюдение напрямую по сцене и действиям робота. Хирургические среды относятся к самым сложным для классических симуляторов из-за многофизической природы. Генеративная симуляция дополняет их: вместо явного моделирования геометрии сцены, деформации тканей и физических взаимодействий модели мира учатся визуальной динамике непосредственно по синхронизированному хирургическому видео и кинематике роботов. Cosmos3-H-Embodied-Nano, построенная на Cosmos3 и дообученная на Open-H-Embodiment, генерирует хирургическое видео по действиям робота, предсказывает действия по видео или создаёт оба потока одновременно. На вход она получает начальный RGB-кадр, текстовый промпт, последние 16 выполненных действий и последующие действия робота. Разработчики могут использовать её для создания синтетических данных и офлайн-оценки политик без построения физической модели хирургической сцены. Cosmos3-H-Dreams позволяет проверить, как хирургическая политика реагирует по ходу процедуры, причём каждое действие влияет на последующие события. Модель дистиллирована из Cosmos3-H-Embodied-Nano, является каузальной и работает в несколько шагов. Она формирует кадры по живой кинематике робота для симуляции в реальном времени в замкнутом контуре, которой управляет человек или обученная политика. Так разработчики получают интерактивную среду для отработки хирургических манипуляций и оценки политик до испытаний на физическом оборудовании. Для ускоренного инференса предназначен Cosmos NIM. Пакет поддерживает модели в оптимизированных контейнерах, что упрощает развёртывание. Инференс становится быстрее и требует меньше памяти благодаря квантованию, спекулятивному декодированию, кэшированию, отсечению токенов и маршрутизации с учётом KV-кэша. По измерениям, спекулятивное декодирование дает среднее ускорение примерно в 2–3 раза на H200. Сервис также обслуживает дообученные чекпоинты Cosmos и обрабатывает живые видеопотоки с потоковым VLM-инференсом, что даёт оповещения менее чем за секунду и снижает задержку в 10 раз. Развёртывание упрощается благодаря автоматическому выбору конфигурации, проверенной производительности и качеству на поддерживаемых GPU, поддержке лицензирования и ежеквартальным обновлениям функций, оптимизаций и безопасности. Для запуска нужна установка драйвера NVIDIA, Docker и NVIDIA Container Toolkit на Linux. Затем необходимо создать персональный ключ NGC API с доступом к каталогу NGC и задать его в переменной окружения NGC_API_KEY. Контейнер Nano Generator запускается на GPU 0 с образа nvcr.io/nim/nvidia/cosmos3:2.0.0 с переменными NIM_MODEL_TYPE=generator, NIM_MODEL_VARIANT=nano и NIM_PERF_PROFILE=latency. Для работы нужны curl, python3 и достаточный объём диска под образ и кэш модели. После запуска готовность контейнера проверяется эндпоинтом health/ready, а выбранные модель и профиль показываются в metadata. Ход запуска отслеживается командой docker logs. Профиль latency, используемый по умолчанию, ускоряет завершение одного запроса и подходит для интерактивных экспериментов; поддерживаемые конфигурации с несколькими GPU объединяют их для одного запроса. Профиль throughput ориентирован на количество завершённых запросов за время и подходит для генерации датасетов или параллельных пользователей: независимые реплики обрабатывают запросы одновременно. Профиль задаётся при запуске контейнера, и выигрыш throughput проявляется только при одновременных запросах. Latency поддерживает 1, 2, 4 или 8 GPU, а throughput — 2, 4 или 8 совместимых GPU. Простая смена профиля на throughput в примере с одним GPU приведёт к ошибке выбора профиля. Чтобы начать работу, изучите Cosmos Framework и используйте его навыки агентов и справочные рецепты для обучения, настройки и оптимизации моделей под своё приложение. Начните с чекпоинта симуляции, подходящего для вашей задачи, воспроизведите эталонный сценарий и адаптируйте его к своим сенсорам, действиям и данным. Полный технический отчёт доступен для чтения. В четверг, 5 ноября, состоится прямая трансляция о работе с Cosmos Framework. Развёртывайте модели Cosmos для рассуждений и генерации с помощью сертифицированных Cosmos NIM, обеспечивающих максимальную производительность на более чем 20 GPU NVIDIA. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.