Согласно материалу NVIDIA Developer, настройка и оптимизация Kubernetes для нового GPU-оборудования, такого как NVIDIA Vera Rubin, сложна и подвержена ошибкам. Драйверы, ядра, среды выполнения, сетевые компоненты, операторы и планировщики должны работать согласованно, а параметры нужно подбирать под конкретное оборудование и нагрузку. Небольшие несоответствия могут помешать запуску рабочих нагрузок или снизить производительность. NVIDIA AI Cluster Runtime (AICR), входящий в состав платформы NVIDIA DSX AI Factory, упрощает эту работу. Он фиксирует проверенные конфигурации в виде повторно используемых рецептов, генерирует наборы для существующих инструментов развёртывания и проверяет работающий кластер. Это должно помочь окружениям Kubernetes быть готовыми к вычislительным лоткам NVIDIA Vera Rubin NVL72 в первый день. Платформа DSX AI Factory объединяет технологии, которые помогают экосистеме проектировать, строить и эксплуатировать более эффективные ИИ-фабрики, включая компоненты с открытым исходным кодом, созданные для многопользовательских сред и масштабирования. Вывод новой аппаратной архитектуры в облачно-ориентированный стек требует обновления всех уровней: от низкоуровневых привязок до уровня оркестрации. Для Vera Rubin ещё ранний этап. В материале рассмотрено, что меняется по сравнению с NVIDIA GB200 NVL72, и что проверено на ранних образцах оборудования с GPU Operator и драйвером Dynamic Resource Allocation (DRA) с поддержкой Vera Rubin. Vera Rubin NVL72 является развитием той же стойки архитектуры NVIDIA MGX третьего поколения, но ряд элементов для пользователя меняется. Во-первых, требуется новая ветка GPU-драйвера: проверена версия R615.23, которая пока является текущей протестированной, а не подтверждённым минимумом. Ранняя поддержка ожидается в R610, официальная — в R620. Базовая версия AICR для GB200 — R580.173.02. Во-вторых, сетевые адаптеры ConnectX-7 и DPU BlueField-3 заменены на ConnectX-9 SuperNIC и BlueField-4. Первым GA-релизом с поддержкой ConnectX-9 стал DOCA 3.3.0, на котором проверялся образ системы Vera Rubin. Совместимость сетевого оператора остаётся отдельным этапом проверки. В-третьих, топология устройств отличается: лоток Vera Rubin NVL72 имеет восемь групп PCI-устройств ConnectX-9 с 32 функциями, тогда как на лотке GB200 — четыре адаптера ConnectX-7. Количество PCI-функций не равно количеству физических портов. Поэтому для I/O-интенсивных нагрузок, таких как RDMA и GPUDirect Storage, необходимо проверять связь GPU с NIC и размещение NUMA. В-четвёртых, для многоузловых NVLink-нагрузок используется IMEX: при управлении через DRA статический сервис nvidia-imex на хосте нужно остановить, отключить и замаскировать. В-пятых, у GPU Rubin появились новые профили MIG, однако рецепты AICR используют целые GPU и MIG в этой проверке не покрыт. Все эти отличия учтены в новом семействе рецептов Vera Rubin, поэтому команды aicr recipe и aicr validate отражают проверенную комбинацию компонентов. Для проверки поддержки Vera Rubin NVL72 развёртывание выполнялось с официальным GPU Operator v26.7.0 и DRA-драйвером v0.5.0 при установленном на хосте драйвере R615. Варианты рецептов для обучения и инференса прошли полную проверку развёртывания и соответствия требованиям. Для обучения пройден первоначальный контроль производительности: межузловая операция NCCL all-reduce через NVLink-фабрику с IMEX ComputeDomain и порогом пропускной способности шины. Поды с GPU работают корректно, каналы IMEX внедряются в запрашивающие их поды на нескольких узлах. Первые раунды проверки были временно заблокированы аппаратной проблемой фабрики в одном из ранних кластеров Vera Rubin, не связанной с GPU Operator или DRA-драйвером: один лоток не подключался к NVLink-фабрике. После переустановки оборудования все GPU обоих узлов вошли в единую корректную фабрику. Рецепты AICR фиксируют выбор режима драйвера, настройки среды контейнеров, версии компонентов и платформенные параметры. Семейство рецептов Vera Rubin (rke2, vr200, Ubuntu, варианты обучения, инференса и NVIDIA Dynamo) выпущено в статусе Preview, то есть как путь для ранних пользователей без производственной поддержки, пока сама платформа находится на предрелизной стадии. Драйвер на хосте предустановлен, поэтому GPU Operator запускается с driver.enabled: false, а контейнерный инструментарий остаётся под управлением оператора. Минимальные требования платформы: Kubernetes не ниже 1.34.1, Ubuntu 26.04 с ядром для arm64 с 64k-страницами, а также увеличенный лимит памяти для NFD topology updater, поскольку стандартные 60 Mi приводят к завершению по нехватке памяти на многотерабайтных узлах. Первое развёртывание прошло от передачи кластера до работоспособной среды за несколько часов, второй кластер воспроизвёл результат на следующий день. Вся последовательность, от рецепта до проверок развёртывания и соответствия, занимает около пяти минут. Фаза производительности добавляет время работы NCCL-задачи. Тест межузлового ComputeDomain показал, что два пода, по одному на каждом лотке, запускаются примерно за 12 секунд с внедрёнными каналами IMEX. Проверка на Vera Rubin также выявила несопоставленное значение архитектуры Rubin в пакетах go-nvlib, из-за которого плагин kubelet DRA-драйвера падал в цикле. Исправление (go-nvlib 0.11.0 → 0.12.0) вошло в официальный релиз DRA-драйвера v0.5.0, поэтому рецепты используют стандартный тег без промежуточных сборок. Кроме того, выяснилось, что демон IMEX на хосте и ComputeDomain под управлением DRA пока не могут работать на одном узле; эта обратная связь повлияла на вариант управления IMEX на хосте в DRA-драйвере v0.5.0. Рецепты Vera Rubin опубликованы в открытом репозитории NVIDIA/aicr в версии v1.0.0. Чтобы начать работу, используйте команду: aicr recipe --service rke2 --accelerator vr200 --os ubuntu --intent training. Для варианта инференса с Dynamo применяется команда с параметром --intent inference --platform dynamo. Вариант инференса с производительностью пока отложен: для его проверки нужен опубликованный образ среды выполнения, собранный с CUDA 13.4 или новее, поскольку текущие образы vLLM собраны с CUDA 13.0.3. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.