NVIDIA launches open source Run:ai platform

Согласно материалу NVIDIA Developer, сегодня NVIDIA делает полную платформу NVIDIA Run:ai доступной в качестве программного обеспечения с открытым исходным кодом, предоставляя клиентам, разработчикам и партнёрам экосистемы доступ к возможностям оркестрации рабочих нагрузок ИИ и GPU. Этот релиз расширяет платформу NVIDIA DSX AI Factory, устанавливая NVIDIA Run:ai в качестве открытой основы, которая позволяет более широкой экосистеме быстрее выводить на рынок дифференцированные решения в ответ на меняющиеся потребности клиентов. За последние несколько лет NVIDIA Run:ai помогала организациям запускать рабочие нагрузки ИИ на Kubernetes в масштабах, динамически распределяя ресурсы GPU и управляя рабочими нагрузками на протяжении всего жизненного цикла — от обработки данных и обучения до вывода. Открытие возможностей платформы NVIDIA Run:ai как части NVIDIA DSX AI Factory теперь позволяет каждому партнёру экосистемы NVIDIA DSX и облаку ИИ увеличивать пропускную способность рабочих нагрузок, улучшать использование GPU и более эффективно управлять общей инфраструктурой ИИ. В этом посте подробно рассматривается релиз с открытым исходным кодом, который включает в себя полную платформу NVIDIA Run:ai и четыре компонента, которые также могут быть приняты независимо: KAI Scheduler, GPU Fractioning Operator, KAI Resource Management и Workload Map. Вместе с дополнительным кодом платформы эти компоненты формируют интегрированную платформу NVIDIA Run:ai. Команды платформы и партнёры экосистемы могут принять NVIDIA Run:ai как интегрированное целое, развивать её для своих собственных продуктов и услуг или интегрировать отдельные компоненты в зависимости от своих требований. Полный исходный код платформы NVIDIA Run:ai доступен в репозитории NVIDIA Run:ai в организации NVIDIA DSX AI Factory на GitHub. Команды могут просматривать код, вносить свой вклад в его разработку, строить на основе платформы или принимать её модульные компоненты независимо. Полная платформа NVIDIA Run:ai с открытым исходным кодом также доступна на NVIDIA NGC как продукт сообщества, с графиком Helm для установки интегрированного стека. Открытый исходный код NVIDIA Run:ai предоставляет партнёрам экосистемы NVIDIA DSX прямой доступ к инновациям в области оркестрации рабочих нагрузок ИИ и GPU, которые они могут использовать в своих собственных решениях NVIDIA DSX AI Factory. Приняв полную платформу или интегрировав отдельные компоненты, партнёры могут быстрее выводить эти инновации на рынок и более оперативно реагировать на меняющиеся требования клиентов и операционные нужды. Среди примеров интеграции NVIDIA Run:ai можно отметить компании Crusoe, которая объединяет NVIDIA Run:ai с управляемым Kubernetes, Mirantis, которая расширяет k0rdent AI с помощью NVIDIA Run:ai для автоматизации управления жизненным циклом, и Nebius, предлагающую NVIDIA Run:ai как однонажатийное развертывание приложений в Nebius AI Cloud. Для команд, которые уже имеют платформу и нуждаются в заполнении конкретного пробела в функциональности, в статье описываются, когда и как использовать каждый модульный компонент независимо. KAI Scheduler — это движок планирования, который поддерживает платформу NVIDIA Run:ai. Он был выпущен как программное обеспечение с открытым исходным кодом под лицензией Apache 2.0 и внесён в CNCF как проект Sandbox. GPU Fractioning Operator позволяет нескольким рабочим нагрузкам делить GPU с жесткой изоляцией памяти. KAI Resource Management управляет тем, кто получает какие ресурсы, а Workload Map служит контрактом управления рабочими нагрузками для Kubernetes. Эти компоненты позволяют платформам и инструментам, которые должны понимать и управлять несколькими типами рабочих нагрузок Kubernetes, делать это без жесткого кодирования каждого CRD. Мы рады представить эту работу сообществу и построить следующее поколение оркестрации рабочих нагрузок ИИ и GPU в открытом доступе. Мы приветствуем ваши вклады, вопросы и отзывы. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.