{{opener}} В условиях, когда выводы больших языковых моделей (LLM) все чаще обрабатывают чувствительную информацию и конфиденциальный контекст моделей в личных, корпоративных и регулируемых условиях, данные должны обрабатываться в защищенной среде. NVIDIA Confidential Computing (CC) предлагает возможность безопасного выполнения этих задач с использованием зашифрованных виртуальных машин (CVM), конфиденциальных графических процессоров (GPU) и зашифрованного NVIDIA NVLink. Это позволяет осуществлять производственный вывод ИИ на доверенном оборудовании. Фреймворки вывода, такие как NVIDIA TensorRT LLM, обеспечивают выдающийся ИИ вывод, сочетая оптимизации на уровне фреймворка с ускоренными вычислениями NVIDIA. Однако, когда эти фреймворки работают в среде, поддерживающей CC, безопасное выполнение изменяет предположения о перемещении памяти, времени, расписании и многопроцессорной коммуникации. Эти изменения могут вызвать накладные расходы по производительности, если среда выполнения не адаптируется. Поэтому для поддержания высокой производительности необходимо оптимизировать как фреймворк вывода, так и среду конфиденциальных вычислений совместно. Для инженеров платформы ИИ, оценивающих конфиденциальный вывод на графических процессорах NVIDIA Blackwell, данный пост рассматривает адаптации, учитывающие CC, которые используют фреймворки вывода ИИ, такие как TensorRT LLM, чтобы учесть безопасное выполнение и при этом сохранить производительность вывода. Он представляет контролируемую методологию, которую команды могут применить для количественной оценки накладных расходов CC на своих собственных задачах. Выбор рабочей нагрузки для выявления накладных расходов CC. Характеристики рабочей нагрузки определяют, насколько заметны накладные расходы CC. Высокий объем запросов может компенсировать фиксированные затраты на шифрование, перекрывая задержки с другой работой, что делает прямые эффекты менее заметными. Для выявления этих эффектов выберите рабочую нагрузку с длинным входным контекстом, продолжительным выводом и низкой конкурентностью. Длинный контекст нагружает перемещение данных во время предварительной загрузки, продолжительная генерация усиливает небольшие накладные расходы CC на токен во время декодирования, а низкая конкурентность ограничивает возможность скрыть эти затраты в параллельных запросах. Команда инженерии производительности NVIDIA использовала эти характеристики для оцененной здесь рабочей нагрузки. Конфигурация рабочей нагрузки: фреймворк вывода TensorRT LLM, бэкенд PyTorch, длина последовательности ввода/вывода 32K/1K, конкурентные запросы 1, 2, 4, 8 и 16, параллелизм TP=8, EP=1, PP=1, KV cache FP8. Измерение накладных расходов CC с контролируемым сравнением CC-включен и CC-выключен. Чтобы изолировать влияние на производительность CC, выполните одну и ту же рабочую нагрузку при двух условиях: конфиденциальные вычисления отключены (CC-выключен) и включены (CC-включен), удерживая модель, оборудование, версию фреймворка, длины последовательностей, параллелизм и конкурентность постоянными, чтобы состояние CC было единственной переменной. На каждом уровне конкурентности: производительность вывода сохраняется: 100 x (вывод токенов CC-включен ÷ вывод токенов CC-выключен). Накладные расходы по задержке времени на токен вывода (TPOT): 100 x (TPOT CC-включен ÷ TPOT CC-выключен − 1). Команды производительности могут использовать эти измерения для количественной оценки того, сколько из базового уровня CC-выключен сохраняется, когда CC включен для целевой нагрузки. Команда инженерии производительности NVIDIA применила это сравнение, используя аппаратную и программную конфигурацию, обобщенную в таблице. Результаты производительности. Как показано на рисунках, при конкурентности от 1 до 16 CC-включен сохранил 96.1–98.2% производительности вывода токенов CC-выключен, в то время как средний TPOT оставался в пределах 1.2% до 4.3% от базового уровня. Идентификация и снижение накладных расходов CC. Архитектура конфиденциальных вычислений NVIDIA Blackwell вводит аппаратно обеспеченные пути безопасности для защиты данных и рабочих нагрузок в процессе использования. Для подробного обзора архитектуры см. «Безопасность ИИ на основе аппаратного корня, которая не замедляет вас». Для пользователей TensorRT LLM и разработчиков фреймворков следующие детали показывают, как эти защищенные пути изменяют общие предположения времени выполнения и как TensorRT LLM адаптируется для снижения возникающих накладных расходов по производительности. Адаптация перемещения данных от хоста к устройству. В B200 CC передачи от хоста к устройству проходят через программно зашифрованный буфер, поскольку GPU не может напрямую получить доступ к защищенной памяти CVM. Это изменяет поведение, ожидаемое фреймворками вывода: закрепленная память больше не предоставляет свои обычные преимущества асинхронной передачи, и некоторые копии могут блокировать вызывающий поток. Меры по снижению для передачи от хоста к устройству: TensorRT LLM использует выбор памяти с учетом CC, выбирая страницу памяти для затронутых путей вместо безусловного использования закрепленной памяти. Меры по снижению для передачи от устройства к хосту: TensorRT LLM перемещает повторные токены и данные выборки в асинхронный рабочий процесс, предотвращая блокировку защищенных копий основного планировщика во время декодирования. Стабилизация времени автотюнера ядра. Автотюнер ядра обычно использует события CUDA для сравнения кандидатных тактик. В протестированной конфигурации CC временные метки событий CUDA производили нестабильный временной сигнал, что могло вызвать выбор более медленной тактики. Меры по снижению: TensorRT LLM использует %globaltimer GPU для измерений тактики в условиях CC, сохраняя события CUDA вне CC. Выбор коммуникации с учетом CC для много-GPU. Мультикаст NVLS (NVLink SHARP) недоступен в конфигурациях B200 CC. Без NVLS NCCL_SYMMETRIC не может предоставить свои предполагаемые преимущества мультикаста, но может все же нести затраты на регистрацию памяти и синхронизацию между рангами перед использованием немультикастного коллективного пути. Меры по снижению: фреймворки, нацеленные на CC, должны обнаруживать доступность NVLS и выбирать алгоритмы коммуникации, минимизирующие задержки для данного размера сообщения, топологии и характеристик нагрузки. Запуск с NVIDIA Confidential Computing. NVIDIA Confidential Computing расширяет аппаратно обеспеченную защиту через конфиденциальные виртуальные машины, графические процессоры NVIDIA Blackwell и зашифрованный NVLink, защищая конфиденциальные модели, корпоративный контекст и чувствительные подсказки во время их обработки. Конфиденциальные вычисления не устраняют необходимость в инженерии производительности — они делают осведомленность фреймворка еще более важной. С адаптациями TensorRT LLM с учетом CC для безопасного перемещения данных, автотюнинга и коммуникации с много-GPU конфиденциальный вывод DeepSeek-R1 сохранил более 96% производительности вывода токенов CC-выключен, при этом накладные расходы на задержку на токен оставались ниже 5% на восьми графических процессорах NVIDIA B200. По мере того как организации переходят к частному выводу в производство, конфигурация безопасности и оптимизация вывода должны рассматриваться как единая задача развертывания. Включите конфиденциальные вычисления, подтвердите среду и проведите бенчмаркинг CC-включен и CC-выключен, используя именно ту нагрузку, которую вы намерены обслуживать. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Anthropic представила Opus 5.5 с более низкими ценами и улучшенной производительностью Оптимизация распределения нагрузки с помощью NVIDIA Topograph Qualcomm анонсировала новые процессоры Snapdragon с акцентом на ИИ для смартфонов. NVIDIA представила DLSS 5 с 3D-нейронным рендерингом для создания реалистичной графики в играх. NVIDIA представила решение для многоустройственного выполнения TensorRT на нескольких GPU.