Согласно материалу AWS Machine Learning, NVIDIA представила новую модель Nemotron 3.5 Super VL, которая пополнила уже доступные на платформе AWS модели Nemotron 3 Nano, Nano Omni, Super, Ultra и Nemotron 3.5 Lightning. Эта модель обладает 120 миллиардами параметров и использует 12 миллиардов параметров на токен. Она сочетает в себе возможности рассуждения и использования инструментов с пониманием текста, изображений, документов и видео, что позволяет одной модели выполнять как текстовые, так и визуальные задачи. Nemotron 3.5 Super VL является открытой мультимодальной моделью, созданной на основе Nemotron 3 Ultra. NVIDIA публикует веса, тренировочные наборы данных и рецепты пост-обучения, что позволяет настраивать модель под специфические задачи и запускать её на контролируемой инфраструктуре. Модель имеет 120 миллиардов параметров, из которых 12 миллиардов активируются на токен. Она использует гибридную архитектуру Mamba-Transformer MoE, чередуя слои Mamba-2, внимание и экспертные слои. Nemotron 3.5 Super VL поддерживает рабочие процессы агентов, которые объединяют рассуждение с визуальным пониманием. К числу её применений относятся: кодирование — тестирование и валидация кода, анализ ошибок и рекомендации по исправлению; веб-исследование — перекрестная проверка и верификация источников, возвращаемых поисковыми инструментами; интеллектуальный анализ документов — чтение таблиц, графиков и макетов страниц для составления резюме; кибербезопасность — выявление уязвимостей и оценка угроз; понимание видео — поиск, контент, обзор и анализ инцидентов. Nemotron 3.5 Super VL интегрируется с основными открытыми фреймворками агентов и системами оркестрации через реализации, предоставленные NVIDIA, а также через руководства и инструменты NVIDIA Agent Toolkit. Минимальные конфигурации GPU для работы с моделью включают различные модели NVIDIA с указанием минимального количества. Раздел, посвященный развертыванию на AWS, описывает архитектуру, валидацию и подходы к оценке производительности. Подробное руководство по развертыванию Nemotron 3.5 Super VL и Nemotron 3 Ultra на AWS доступно в проекте aws-do-eks, включая предварительные требования, создание кластера, загрузку весов модели, развертывание, тестирование, бенчмаркинг и очистку. Архитектура развертывания использует стандартные Amazon EKS, EKS Auto Mode и SageMaker HyperPod EKS. Данная архитектура была проверена на экземплярах p6-b200.48xlarge и p5en.48xlarge. Для валидации кластера и его сети можно использовать микробенчмарк NVIDIA Collective Communications Library (NCCL). Производительность развернутой модели можно измерить с помощью инструмента NVIDIA aiperf, который предоставляет ключевые показатели производительности. В заключение, статья охватывает архитектуру и подходы к оценке производительности для обслуживания моделей NVIDIA Nemotron на Amazon EKS, EKS Auto Mode и SageMaker HyperPod EKS. Чтобы начать, разверните Nemotron 3.5 Super VL в своем аккаунте, используя предоставленную реализацию. Более подробные инструкции также доступны в проекте AI on EKS. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.