По данным NVIDIA Developer, требования к вычислительным и памятью ресурсам генеративного ИИ всё чаще превышают возможности одного GPU. Многоустройственное выполнение TensorRT от NVIDIA — это новая функция, которая позволяет одной сети TensorRT работать на нескольких GPU с использованием распределённых коллекторов на основе NCCL, сохраняя при этом оптимизации вывода TensorRT. Эта функция полностью поддерживается начиная с версии TensorRT 11.0. Выпуск NVIDIA Dynamo-Triton (ранее известного как NVIDIA Triton Inference Server) версии 26.07 активирует возможность многоустройственного вывода для бэкенда TensorRT. Один экземпляр KIND_MODEL Triton может использовать несколько GPU, создавать контексты выполнения TensorRT на каждую ранг, потоки CUDA и коммуникаторы NCCL, а также запускать ранги одновременно для каждого запроса. Приложение обращается к одной именованной модели через gRPC-эндпоинт, вместо того чтобы координировать ранги GPU самостоятельно. Для организаций, развертывающих генеративный ИИ, это устраняет разрыв между ускорением на нескольких GPU и удобным сервисом вывода. Команды могут обменивать дополнительные ресурсы GPU на более короткую задержку запросов, поддерживать стабильный интерфейс приложения и окружающий рабочий процесс, упаковывать движок как версию модели Triton и исключать код жизненного цикла ранга и коммуникатора из клиента. Для рабочих процессов генеративных медиа, чувствительных к задержке, более короткое время до результата может сократить время ожидания пользователей и ускорить циклы проверки и доработки. В этом посте демонстрируется интеграция с использованием генерации видео на базе NVIDIA Cosmos 3 Nano, долгосрочной рабочей нагрузки, представленной в предыдущем посте о масштабировании вывода ИИ на нескольких GPU с поддержкой многоустройственного вывода TensorRT. Diffusers продолжают организовывать подсказки, латенты, управление без классификатора (CFG), расписание, декодирование VAE и постобработку кадров. Dynamo-Triton обслуживает 36-слойный трансформер для денойзинга, а многоустройственное выполнение TensorRT использует параллелизм контекста Улисса для распределения 44,160 видео токенов на столько же, сколько восемь GPU NVIDIA. Как Dynamo-Triton обслуживает модели TensorRT с многоустройственным выводом? Распределённый граф Улисса компилируется в каждый план TensorRT перед развертыванием. Бэкенд TensorRT Dynamo-Triton загружает версионированный план, создает состояние выполнения с несколькими рангами и открывает один gRPC-эндпоинт модели. Клиент отправляет запрос трансформера на этот эндпоинт; он не координирует участвующие ранги GPU. Модель Cosmos 3 Nano предоставляет практический пример этой границы. Трансформер составляет 93,4% времени генерации на одном GPU, что делает его наиболее важным этапом для ускорения. Каждый из 35 шагов денойзинга требует одного негативного или некондиционного предсказания и одного предсказания, обусловленного подсказкой для CFG. Таким образом, прокси Diffusers делает два последовательных вызова Triton на шаг, что составляет 70 RPC трансформера на каждую генерацию. Каждый запрос несет подготовленные тензоры и возвращает noise_patches в рабочий процесс приложения. Как Dynamo-Triton активирует параллельный распределённый план TensorRT? Распределённый граф компилируется в каждый параллельный план TensorRT. Конфигурация Dynamo-Triton активирует этот план; она не преобразует движок с одним устройством в распределённый. Базовая модель с одним устройством использует стандартный экземпляр GPU на GPU 0. Варианты на двух, четырех и восьми GPU используют KIND_MODEL, активируют путь многоустройственного бэкенда TensorRT и идентифицируют участвующие ранги. Каждый из четырех вариантов запускался на одной и той же здоровой системе NVIDIA с восемью GPU. Базовая модель с одним устройством использовала один GPU; CP2, CP4 и CP8 использовали два, четыре и восемь рангов. Каждый запуск использовал разрешение 1280×720, 189 кадров при 24 FPS и 35 шагов денойзинга. Каждый результат включает одну предварительную прогревку, за которой следуют пять измеренных полных генераций. Время охватывает работу с подсказками, 70 вызовов Dynamo-Triton, обновления CFG и планировщика, декодирование VAE и постобработку кадров. Обратите внимание, что загрузка модели и кодирование mp4 были исключены. Сравнение SD, CP2, CP4 и CP8 показано в таблице 1. Общая задержка снижается с 156,595 секунд на одном GPU до 34,183 секунд на восьми GPU, в то время как скорость RPC трансформера увеличивается до 6,09 раз. Каждое из 35 шагов денойзинга требует одного негативного или некондиционного предсказания и одного предсказания, обусловленного подсказкой для CFG. Таким образом, прокси Diffusers делает два последовательных вызова Triton на шаг, что составляет 70 RPC трансформера на каждую генерацию. Каждый запрос несет подготовленные тензоры и возвращает noise_patches в рабочий процесс приложения. Каждый вариант использовал одно и то же семя и профиль генерации. Валидация выбирала кадры 0, 47, 94, 141 и 188, проверяла формат и временные изменения и сравнивала каждый выход с контекстом параллельного вывода с результатом на одном устройстве. CP2, CP4 и CP8 прошли установленные пороги средней абсолютной ошибки (MAE) ≤ 25 и пикового соотношения сигнал/шум (PSNR) ≥ 18 дБ. Выходы не утверждаются как идентичные пикселям. CP2 и CP4 измерили MAE 12,759 и PSNR 21,111 дБ. CP8 измерил MAE 16,316 и PSNR 19,400 дБ. Контактная таблица также показывает одно и то же согласованное действие на протяжении всего клипа: роботизированная рука очищает тарелку. Для команд продуктов эти результаты демонстрируют практичный вариант, когда время отклика имеет большее значение для бизнеса, чем минимизация количества GPU, назначенных одному запросу. Полная генерация Cosmos 3, которая ранее занимала более двух с половиной минут, завершается за примерно 34 секунды, в то время как приложение продолжает использовать обычный интерфейс обслуживания моделей. Команды всё равно должны решить, какой подход является наилучшим, основываясь на соотношении ресурсов и задержки. Этот бенчмарк не измеряет пропускную способность параллельных запросов, стоимость за сгенерированное видео или общую стоимость владения (TCO). Команды должны оценить эти метрики по сравнению с их собственными SLO и экономикой развертывания. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. AWS представляет Strands Harness: агент с 28% экономией токенов Как оценивать ИИ-агентов: от вызовов инструментов до завершения задач Qualcomm анонсировала новые процессоры Snapdragon с акцентом на ИИ для смартфонов. NVIDIA Confidential Computing обеспечивает безопасный вывод ИИ с высокой производительностью. NVIDIA представила DLSS 5 с 3D-нейронным рендерингом для создания реалистичной графики в играх.