Как пишет NVIDIA Generative AI, для помощи разработчикам в быстром создании мировых моделей, которые помогают физическим системам ИИ понимать и моделировать реальный мир, NVIDIA расширила платформу Cosmos новыми инструментами для обучения, контрольными точками симуляции и шаблонами Cosmos Data Factory. Платформа NVIDIA Cosmos занимает топовые позиции на шести различных открытых моделях, предоставляя строителям мировых моделей передовые открытые модели, а также данные, инструменты для обучения и оптимизации, которые позволяют масштабировать обучающие данные, адаптировать модели, тестировать поведение и оптимизировать производительность перед развертыванием. Создание качественных обучающих данных начинается с мультимодальных и многосенсорных данных. Cosmos Data Factory объединяет инструменты и навыки для маркировки, курирования, дополнения и оценки данных в большом масштабе для обучения физического ИИ. Cosmos Curator, решение с ускорением на GPU для курирования видеообучающих наборов данных, теперь добавило поддержку мультимодальных и многосенсорных входов и блоков обработки. Cosmos Data Factory теперь предлагает пять облачных шаблонов и доступна через GitHub, Microsoft Azure, Nebius и CoreWeave: 1. Генерация набора данных для автономных транспортных средств: курирует и маркирует данные вождения, затем добавляет синтетические примеры сложных сценариев, чтобы расширить охват обучения. 2. Дополнение атрибутов изображений: изменяет внешний вид объектов для улучшения поиска изображений. 3. Генерация видео событий: превращает статичные изображения в синтетические видео редких или опасных событий. 4. Генерация изображений дефектов: создает изображения дефектов печатных плат, металла и стекла для моделей инспекции. 5. Дополнение видео данных: изменяет погоду и освещение в существующих записях, сохраняя структуру сцены. Cosmos Data Factory ускоряет кураторство данных, обработку и генерацию синтетических данных с помощью агентных навыков. Компании уже используют шаблоны Cosmos Data Factory, чтобы ускорить свои рабочие процессы разработки физического ИИ. Porsche возглавляет разработку совместного цикла данных для автономных транспортных средств среди брендов Volkswagen Group, используя Cosmos Data Factory через Voxel51 на Microsoft Azure. Ожидается, что это снизит количество повторных физических тестов до 90% и сократит время разработки до 85%. ANYbotics сгенерировала более 1500 синтетических видеоклипов с помощью шаблонов Cosmos Data Factory, кураторируя реальные данные и проверяя результаты с помощью платформы Encord, чтобы обучить своих роботов для инспекции распознавать разливы жидкости и другие изменения между посещениями объектов. Ultralytics, компания в области компьютерного зрения, переобучила свою модель YOLO с реальными изображениями и целевыми синтетическими дефектами, сгенерированными с помощью Cosmos Data Factory, что улучшило локализацию дефектов и их обнаружение. С подготовленными обучающими данными разработчики могут обучать свою архитектуру или начинать с предварительно обученной модели. На GTC Berlin NVIDIA расширила инструменты и рецепты для обучения, оптимизации и развертывания Cosmos Framework как агентные навыки для большего числа открытых моделей, включая Cosmos 3, предоставляя строителям мировых моделей более быстрый путь от экспериментов до развертывания. Разработчики и агенты теперь могут адаптировать открытые модели, такие как GR00T, Alpamayo, QWEN, Pi0.5 и другие совместимые модели Hugging Face, через дообучение и обучение с подкреплением, оптимизировать модель с помощью дистилляции и квантования, а также развертывать с высокопроизводительным выводом. Cosmos Framework представляет собой открытую модульную структуру инструментов для обучения и оптимизации моделей, чтобы ускорить разработку мировых моделей. Для разработки мировых моделей, специализированных для эгоцентрической манипуляции, исследовательская лаборатория MicroAGI дообучила Cosmos 3 на видео с людьми, манипулирующими объектами, и уменьшила своего 32-миллиардного параметрического решателя до 8-миллиардного Nano-модели без потери точности. Разработчики могут маркировать данные и дообучать Cosmos 3 на Roboflow для своих конкретных сред и задач, а затем развертывать эти модели на GPU NVIDIA, размещенных в RoboFlow, чтобы внедрить видеоразмышление на заводах и складах. В дополнение к этим инструментам NVIDIA продолжает развивать фундаментальные технологии через свою работу с моделями Cosmos. Новые варианты модели Cosmos 3 Nano для симуляции позволяют разработчикам тестировать автономные политики в воспроизводимых, сложных для захвата, многовидовых многосенсорных сценариях. Сопровождающий код позволяет разработчикам адаптировать модели для обучения и оценки собственных политик для автономных транспортных средств и бимануальных роботов в интерактивных симуляциях перед реальным тестированием. Разработчики могут развертывать основные модели Cosmos, используя обновленные микросервисы NVIDIA Cosmos 3 NIM, которые обеспечивают до 2 раз более быстрое выполнение без потери качества в проверенных конфигурациях, в то время как непрерывный анализ видео позволяет получать оповещения за доли секунды. Для разработчиков визуального ИИ новый шаблон NVIDIA Metropolis для поиска и обобщения видео (VSS) 3.3, построенный на микросервисах Cosmos NIM, превращает один запрос в эффективное видео ИИ приложение и помогает командам контролировать на 40% больше видеопотоков с тем же GPU. Платформа Cosmos полностью модульная и открытая. Разработчики могут использовать Cosmos Data Factory для генерации обучающих наборов данных, Cosmos Framework для обучения и адаптации мировых моделей, а затем развертывать поддерживаемые модели Cosmos через микросервисы NIM. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.