Как пишет NVIDIA Developer, подготовка CAD-активов для симуляции в робототехнике требует не только преобразования геометрии в OpenUSD, но и настройки и проверки материалов, коллизионной геометрии, суставов и других физических свойств перед тестированием поведения робота. Библиотеки NVIDIA Omniverse, руководствуясь спецификациями SimReady Foundation и агентными навыками NVIDIA, предоставляют структурированный рабочий процесс для преобразования и проверки активов, готовых к симуляции (SimReady). Модели Frontier AI могут помочь разработчикам на каждом этапе, интерпретируя справочные материалы и вызывая инструменты Omniverse от их имени, что снижает объем ручной подготовки. В этом посте описывается, как подготовить робот ABB YuMi для симуляции, используя SimReady Foundation и инструменты NVIDIA Omniverse, с GPT-6 Astra в качестве одного из примеров модели Frontier AI, которая может помочь в процессе. Рабочий процесс охватывает пять шагов: преобразование файлов STEP, проверка внешнего вида, настройка физики, проверка SimReady и финальная задача по захвату и размещению с использованием обеих рук и захватов в NVIDIA Isaac Sim. Что такое SimReady и почему это важно для симуляции? SimReady определяет требования к подготовке активов OpenUSD для конкретных случаев использования в симуляции. Разработчики выбирают профиль SimReady для своего предполагаемого использования и проверяют актив на соответствие его требованиям. Проверки, специфичные для профиля, подтверждают структуру актива, материалы и физические свойства, а затем указывают на проблемы, которые разработчики должны исправить и повторно проверить. Модель робота может выглядеть правильно, но все равно потерпеть неудачу в симуляции, если ей не хватает свойств симуляции. Например, отсутствие коллизионной геометрии может позволить объектам проходить сквозь захват, а неправильные суставы могут помешать скоординированному движению. Симуляционные свойства, такие как масса и трение, напрямую влияют на то, остается ли захват стабильным. Следующие технологии и инструменты поддерживают этот рабочий процесс: OpenUSD представляет геометрию, структуру сборки, материалы и свойства симуляции в общем представлении актива. SimReady Foundation предоставляет спецификации и руководство по проверке для подготовки активов, готовых к симуляции. Библиотеки NVIDIA Omniverse предоставляют возможности, которые разработчики и агенты могут использовать для преобразования, инспекции и подготовки контента OpenUSD. NVIDIA Isaac Sim предоставляет среду для настройки физики и тестирования поведения робота. Навыки AI-агента NVIDIA Omniverse (такие как навык CAD-to-SimReady) направляют агентов через процесс преобразования актива, назначения материалов и физики, а также проверки SimReady. Рабочий процесс SimReady: пример робота ABB YuMi. Этот пошаговый процесс демонстрирует пятилетний рабочий процесс SimReady с использованием робота ABB YuMi. GPT-6 Astra используется здесь как один из примеров модели Frontier AI, которая может помочь написать код на Python для вызова библиотек NVIDIA Omniverse на каждом этапе, но рабочий процесс можно применить к многим моделям и системам роботов. Пример использует обе руки и захваты, настроенные в процессе. Перед началом: установите Isaac Sim. Создайте папку внутри директории Isaac Sim и назовите ее «reference», мы будем использовать эту папку для хранения соответствующих активов для рабочего процесса. Добавьте спецификации робота, файлы STEP и справочные изображения и видео в эту папку. Установите вашу модель Frontier AI. В этом примере рабочего процесса мы использовали GPT-6 Astra. Запустите Codex CLI в директории Isaac Sim. Важно запускать Codex внутри директории Isaac Sim, чтобы агент мог найти необходимые навыки, которые понадобятся в рабочем процессе. В этом примере рабочего процесса мы использовали Isaac Sim 6.1 и Codex CLI и запустили Isaac Sim в оконном режиме. Используйте следующий пример запроса в вашем активном Codex CLI, чтобы запустить Isaac Sim: начните Isaac Sim в оконном режиме с включенным удаленным сервером Python. Используйте свежий терминал для этого. Удаленный сервер Python в Isaac Sim позволяет вашему агенту «общаться» через Python с вашим живым приложением Isaac Sim. Подтвердите, что соединение работает, прежде чем продолжить. На каждом этапе адаптируйте пример запроса к вашей задаче в вашем агенте Frontier AI, затем просмотрите результаты симуляции и отзывы о проверке, чтобы выявить проблемы и уточнить актив. 1. Импортируйте робота из файлов STEP. На первом этапе этого рабочего процесса мы импортируем робота из файлов STEP в папке ссылок. Для этого примера предоставьте следующие входные данные в папке ссылок внутри директории Isaac Sim: файлы STEP робота ABB YuMi — исходная геометрия для преобразования в OpenUSD; справочные изображения и видео от ABB Robotics — этот образец рабочего процесса использует связанное видео и изображение от ABB Robotics для направления назначения внешнего вида актива и назначения материалов; репозиторий спецификаций SimReady Foundation — обратите внимание: Isaac Sim 6.1 также упакован с simready-foundation-tier-core, поставляющим требования к роботу, связанные навыки и руководство по проверке; навык CAD-to-SimReady — предоставляет руководство по преобразованию CAD, назначению материалов и физики, а также проверке SimReady. Попросите агента использовать предоставленные входные данные для направления преобразования в OpenUSD и импорта в Isaac Sim. Пример запроса: используйте файлы STEP из папки ссылок и навык CAD-to-SimReady и импортируйте робота в Isaac Sim. Убедитесь, что вы также импортировали оба захвата и расположили их в правильных точках крепления на руках робота. Проверьте перед продолжением: актив робота импортирован и доступен для инспекции. Задача и предоставленные требования понятны, и недостающая информация идентифицирована. 2. Совпадение визуального внешнего вида. Следующий шаг — проверить импортированный робот, чтобы подтвердить, что ожидаемые материалы и текстуры присутствуют и загружены правильно. Сравните актив с предоставленными изображениями и видео от ABB, чтобы проверить масштаб, ориентацию и размещение частей. Попросите агента добавить или уточнить материалы и текстуры, используя эти ссылки. Пример запроса: используйте изображения и видео ABB из папки ссылок, чтобы сопоставить внешний вид импортированного робота с физическим роботом. Добавьте или скорректируйте материалы и текстуры и сообщите о любых визуальных несоответствиях или недостающей справочной информации. Проверьте перед продолжением: робот имеет ожидаемый масштаб, ориентацию, части и внешний вид. Любые недостающие материалы, текстуры или другие визуальные несоответствия документируются. 3. Настройка физических свойств. На этом этапе актив OpenUSD содержит визуальную геометрию робота, но суставы, жесткие тела и коллизионная геометрия еще не были настроены. Попросите агента настроить и проверить физические свойства для обеих рук и захватов. Технический паспорт, который у нас есть в папке ссылок, будет использоваться агентом, чтобы убедиться, что диапазоны суставов и ограничения скорости соответствуют симулированному роботу. Если данные производителя неполные, вы можете попросить агента определить недостающие параметры и проверить технические руководства или доступные описания роботов URDF для точной модели. Если свойства массы остаются недоступными, оцените их по геометрии, используя задокументированную плотность или предположения о распределении массы, следуя рекомендациям NVIDIA по свойствам массы. Например, когда не хватает контекста, мы наблюдали, как агент использовал публичный URDF для робота и использовал его для определения правильных осей для суставов и нулевой конфигурации. Пример запроса: настройте физику и проверьте физические свойства для обеих рук и захватов YuMi. Проверьте определения суставов, оси и ограничения, массу и инерцию, коллизионную геометрию, базовое крепление и движение захвата. Проверьте перед продолжением: суставы движутся вокруг ожидаемых осей и в пределах своих ограничений. Базовое крепление и движение захвата ведут себя так, как настроено. Оцененные свойства и любые ошибки проверки документируются. 4. Проверьте свойства SimReady. Следующий шаг — проверить актив OpenUSD робота на соответствие требованиям SimReady для предполагаемой задачи симуляции. Попросите агента выполнить выбранные проверки SimReady Foundation, просмотреть результаты и внести изменения в актив по мере необходимости. Пример запроса: проверьте финальный актив YuMi в Isaac Sim. Найдите проверку актива SimReady для робота и примените схему SimReady к файлу usd, используйте любые связанные навыки из этого репозитория. Результаты проверки в этом рабочем процессе: SimReady Foundation: единицы актива YuMi, зависимости актива, геометрия, материалы, жесткие тела, суставы, приводы и артикуляция были проверены на соответствие требованиям SimReady Foundation. Проверки активов Isaac Sim: проверены масштаб, ориентация, размещение частей, крепление захвата, покрытие материала и разрешены зависимости текстур через движок проверки внутри Isaac Sim. Масса и инерция: все 21 жесткое тело имели положительные массы и физически допустимые тензоры инерции; значения времени выполнения соответствовали заданным значениям. Суставы: проверены оси, рамы, ограничения, приводы, поведение имитации пальцев и крепление на фиксированной базе. Поведение во время выполнения: протестированы движения рук и захватов, контакт, отпускание и столкновения вдоль протестированных траекторий. Эти проверки подтвердили реализацию симуляции. Они не установили согласие с реальной динамикой робота или безопасностью столкновения во всех возможных позах. Проверьте перед продолжением: последовательность соответствует согласованным критериям приемки, и выбранные проверки SimReady проходят. Корректировки, оцененные свойства и любые нерешенные ошибки документируются. 5. Финальная задача для симуляции робота. Выполните финальную проверку в Isaac Sim, комбинируя визуальные, физические и проверки SimReady с задачей по захвату и размещению. Пример 1: захват и размещение куба. Попросите агента добавить цветовые цели и коробку в тестовую сцену и определить целевые местоположения и цветовую метаданные, соответствующие цветовым целям, выбираются с использованием метаданных сцены. Пример запроса: используйте обе руки и захваты, чтобы захватить и разместить кубы. Добавьте цветовые цели и коробку в тестовую сцену и определите их местоположения и цветовую метаданные. Запустите полный процесс захвата, подъема, удержания, передачи и отпускания. Используйте метаданные сцены, чтобы выбрать соответствующую цветовую цель для каждого куба. Также протестируйте размещение в коробке. Проверьте масштаб, ориентацию, размещение частей, материалы, текстуры, оси и ограничения суставов, коллизионную геометрию и поведение захвата. Запустите выбранные проверки SimReady Foundation. Предположения симуляции: мы предположили безразмерные коэффициенты трения контакта 0.8 статического и 0.6 динамического. Тесты захвата прошли с этими настройками, но коэффициенты не были измерены или откалиброваны с физическим контактом пальца и объекта. Этот пример использует тестовые кубы размером 45 мм и массой 40 г и описанные предположения симуляции в Шаге 3. Результаты демонстрации захвата и размещения: завершенные циклы: обе руки и захваты завершили четыре цикла захвата и размещения за 122,2 секунды физической симуляции. Последовательность задач: каждая рука захватила свой куб, подняла его, удерживала в течение двух секунд, передала и отпустила на соответствующую цветовую цель. Затем каждая рука снова захватила свой куб и поместила его в коробку. Поведение контакта: контакт пальца и трение несли кубы, без соединительных суставов, кинематических удерживаний или прямых обновлений позы куба во время симуляции. Критерии приемки: все циклы прошли определенные критерии захвата, удержания, передачи, отпускания и размещения. Запись: MP4 и GIF были сгенерированы из этой симуляции. Пример 2: захват и размещение с объектом, созданным из изображения. Отдельная демонстрация использовала маркер Sharpie, созданный из справочного изображения, чтобы агент мог создать 3D-актив, который робот поднимет. Предположения симуляции: агент оценил размеры маркера как 140 мм и массу 10 граммов с центром массы в геометрическом центре Sharpie. Коллизионная геометрия была приближена с помощью цилиндрической геометрии для колпачка, корпуса и заднего штекера. Демонстрационные результаты: захватчик YuMi поднял маркер с настольной поверхности и выпустил его в синюю тару в Isaac Sim. Успешные тесты симуляции демонстрируют поведение в протестированных условиях. Результаты могут варьироваться в зависимости от модели Frontier AI и используемого запроса. Навыки NVIDIA, использованные: manipulation-ik, physics-simulation, isaac-sim-validator, isaac-sim-remote, isaac-sim-rendering. Попробуйте рабочий процесс. SimReady Foundation и инструменты NVIDIA Omniverse помогают разработчикам превращать CAD-файлы и справочные материалы в активы, которые они могут настраивать, проверять и тестировать в симуляции. Используйте OpenUSD, SimReady Foundation и инструменты и навыки NVIDIA Omniverse для подготовки активов для ваших задач в симуляции робототехники. Пошаговый процесс с YuMi предоставляет один пример рабочего процесса SimReady с использованием GPT-6 Astra в качестве модели Frontier AI. Чтобы адаптировать подход к другому роботу или модели Frontier AI, подтвердите доступ к необходимым инструментам и навыкам, предоставьте соответствующие справочные материалы и повторите проверку актива и задачи. Результаты могут варьироваться в зависимости от модели, усилий по рассуждению и использованных запросов. Попробуйте образец рабочего процесса ABB Robotics. Начните с репозитория SimReady Foundation и навыка CAD-to-SimReady, чтобы направить подготовку активов. Файл STEP робота ABB Robotics, справочное видео и изображение доступны, чтобы следовать этому пошаговому процессу. Узнайте больше. Изучите симуляции робототехники с Isaac Sim и Isaac Lab. Узнайте, как собирать сцены OpenUSD через бесплатный учебный путь OpenUSD. Узнайте навыки робототехники и цифровых двойников через бесплатные курсы физического ИИ. Присоединяйтесь к нам на NVIDIA GTC Berlin с 20 по 22 октября 2026 года, чтобы изучить последние достижения в области физического ИИ и робототехники и связаться с разработчиками, исследователями и лидерами отрасли. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.