NVIDIA представляет модели Nemotron 3.5 Super VL на Amazon EKS

Согласно материалу AWS Machine Learning, NVIDIA представила новую модель Nemotron 3.5 Super VL, которая пополнила уже доступные на платформе AWS модели Nemotron 3 Nano, Nano Omni, Super, Ultra и Nemotron 3.5 Lightning. Эта модель обладает 120 миллиардами параметров и использует 12 миллиардов параметров на токен. Она сочетает в себе возможности рассуждения и использования инструментов с пониманием текста, изображений, документов и видео, что позволяет одной модели выполнять как текстовые, так и визуальные задачи. Nemotron 3.5 Super VL является открытой мультимодальной моделью, созданной на основе Nemotron 3 Ultra. NVIDIA публикует веса, тренировочные наборы данных и рецепты пост-обучения, что позволяет настраивать модель под специфические задачи и запускать её на контролируемой инфраструктуре. Модель имеет 120 миллиардов параметров, из которых 12 миллиардов активируются на токен. Она использует гибридную архитектуру Mamba-Transformer MoE, чередуя слои Mamba-2, внимание и экспертные слои. Nemotron 3.5 Super VL поддерживает рабочие процессы агентов, которые объединяют рассуждение с визуальным пониманием. К числу её применений относятся: кодирование — тестирование и валидация кода, анализ ошибок и рекомендации по исправлению; веб-исследование — перекрестная проверка и верификация источников, возвращаемых поисковыми инструментами; интеллектуальный анализ документов — чтение таблиц, графиков и макетов страниц для составления резюме; кибербезопасность — выявление уязвимостей и оценка угроз; понимание видео — поиск, контент, обзор и анализ инцидентов. Nemotron 3.5 Super VL интегрируется с основными открытыми фреймворками агентов и системами оркестрации через реализации, предоставленные NVIDIA, а также через руководства и инструменты NVIDIA Agent Toolkit. Минимальные конфигурации GPU для работы с моделью включают различные модели NVIDIA с указанием минимального количества. Раздел, посвященный развертыванию на AWS, описывает архитектуру, валидацию и подходы к оценке производительности. Подробное руководство по развертыванию Nemotron 3.5 Super VL и Nemotron 3 Ultra на AWS доступно в проекте aws-do-eks, включая предварительные требования, создание кластера, загрузку весов модели, развертывание, тестирование, бенчмаркинг и очистку. Архитектура развертывания использует стандартные Amazon EKS, EKS Auto Mode и SageMaker HyperPod EKS. Данная архитектура была проверена на экземплярах p6-b200.48xlarge и p5en.48xlarge. Для валидации кластера и его сети можно использовать микробенчмарк NVIDIA Collective Communications Library (NCCL). Производительность развернутой модели можно измерить с помощью инструмента NVIDIA aiperf, который предоставляет ключевые показатели производительности. В заключение, статья охватывает архитектуру и подходы к оценке производительности для обслуживания моделей NVIDIA Nemotron на Amazon EKS, EKS Auto Mode и SageMaker HyperPod EKS. Чтобы начать, разверните Nemotron 3.5 Super VL в своем аккаунте, используя предоставленную реализацию. Более подробные инструкции также доступны в проекте AI on EKS. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.