Как сообщает NVIDIA Developer, GPU-кластер может успешно пройти все проверки состояния, но всё равно не справиться с выполнением задачи ИИ. Даже если каждый GPU, сетевое соединение и узел сообщают о нормальном состоянии, выполнение задачи на 512 GPU может оказаться неэффективным или завершиться неудачей. Причиной могут быть медленный GPU, соединение, которое ухудшается под нагрузкой, или конфигурация, которая незаметно направляет трафик по более медленному пути. Операторы могут не обнаружить проблему до того, как пройдет несколько часов выполнения или пока клиент не подаст заявку на поддержку. Команды могут тратить дни на поиск коренной причины, пока мощность простаивает. NVIDIA Cluster Readiness Engine (NVCRE) — это контроллер Kubernetes с открытым исходным кодом, который сужает поиск до конкретных узлов, вовлеченных в процесс, до того, как производственные нагрузки начнутся. Он запускает реальные распределенные нагрузки по группам узлов с учетом топологии, измеряет результаты и сообщает, какие узлы не прошли каждый тест. Операторам больше не нужно вручную писать манифесты NVIDIA Collective Communications Library (NCCL), делить стойки вручную или узнавать о деградировавшем оборудовании по заявкам клиентов. Готовность становится проверяемым свойством кластера, а не предположением. Кластер GPU становится готовым поэтапно. Он проходит через этапы настройки, обкатки, предпроизводства и производства, при этом каждый этап устанавливает разные критерии готовности. Узел, который проходит дымовой тест, не обязательно готов присоединиться к обучающей задаче на 512 GPU. Платформенные команды часто фиксируют этот процесс в руководствах, таблицах или скриптах оболочки, обернутых вокруг тестов NCCL. Кластер может пройти стандартную диагностику и всё равно не справиться с реальной распределенной задачей, поэтому лучший способ проверить готовность — запустить нагрузку. На Slurm для этого требуется одна команда srun. Kubernetes не имеет встроенного эквивалента, поэтому тот же тест требует запросов ресурсов GPU и удаленного доступа к памяти (RDMA), настройки NCCL, соответствующей сетевой инфраструктуре, достаточно большого объема общей памяти и способа гарантировать, что все узлы запустятся одновременно. NVCRE заполняет эти пробелы в Kubernetes. Он запускает нагрузки, которые выявляют реальные проблемы с оборудованием, и указывает, какой узел вызвал каждую неудачу. API является поверхностью продукта. Определения пользовательских ресурсов (CRD) определяют каждый ресурс, так что вы можете просмотреть его с помощью kubectl и управлять им через GitOps рабочие процессы. API имеет три ресурса, расположенных в иерархии. Сертификация: ресурс, который вы создаете. Он указывает узлы для тестирования и категории для выполнения. Рабочий процесс: управляет одной категорией. Он применяет переопределения каталога, платформы и GPU; управляет количеством итераций; устанавливает цель оркестрации и создает дочернюю задачу. Задача: запускает нагрузку для целевой группы узлов, отслеживает состояние узлов и фиксирует измерения и сбои. Сертификация создает один рабочий процесс на категорию, и каждый рабочий процесс создает свою дочернюю задачу. Результаты затем передаются вверх. Работа NVCRE позволяет проверять готовность кластера перед началом производственных нагрузок. Этот проект является частью операционной системы NVIDIA DSX, которая служит слоем для платформы NVIDIA DSX AI Factory. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Google представил Gemini 3.8 Flash TTS и Flash-Lite TTS для голосового дизайна Meta улучшает Muse и добавляет возможность видеозвонков Исследование MIT о визуальном ИИ поднимает вопросы о загрязнении и предвзятости. NVIDIA представила NV-Reason-CT, языковую модель для анализа 3D КТ. Anthropic объявила о значительном открытии в своей биологической лаборатории, используя ИИ для исследований.