Согласно материалу NVIDIA Developer, ускорение генерации токенов начинается с определения факторов, ограничивающих производительность вывода. В оценке с размером пакета 1 модели Ling-3.0-flash от Inclusion AI на NVIDIA DGX Spark профилирование показало, что декодирование ограничено памятью: чтение весов модели влияло на время выполнения. Выделились две операции — вычисление смеси экспертов (MoE) и проекция выходного слоя, которая производит оценки по словарю модели. Эти выводы указали на два способа улучшения производительности: сокращение трафика весов на каждом шаге декодирования и генерация большего количества токенов за раунд проверки. В этой статье рассматриваются три техники, которые решают эти задачи: ядра Humming MXFP4 MoE для улучшения выполнения вычислений маршрутизируемых экспертов, онлайн-квантование FP8 выходного слоя, или головы LM, для уменьшения объема чтения весов, и спекулятивное декодирование много-токенов (MTP) с NEXTN для одновременного наброска и проверки нескольких токенов. В статье объясняется, как работает каждая оптимизация, измеряется её эффект и рассматривается проблема интеграции, которая может сделать комбинированную конфигурацию медленнее базовой. Модель и базовая конфигурация использовали Ling-3.0-flash-fp4, модель смеси экспертов с 124 миллиардами параметров и 5.1 миллиарда активных параметров на токен. Модель имеет 42 слоя: 35 слоев линейного внимания Kimi Delta Attention (KDA) и семь слоев многоглавого латентного внимания (MLA). Каждый слой MoE маршрутизирует каждый токен к восьми из 512 маршрутизируемых экспертов, наряду с одним общим экспертом. Для агентных рабочих процессов Ling-3.0-flash предоставляет родное окно контекста в 256K токенов, расширяемое до 1M токенов. По сравнению с предыдущей моделью Ling flash, она улучшает стабильность выполнения долгосрочных задач, точность вызова инструментов и совместимость с системами. Оптимизация 1: Humming MXFP4 MoE backend. Первая оптимизация заменяет выполнение backend flashinfer_mxfp4 MoE на humming. Humming — это независимая библиотека ядра, доступная через пакет pip humming-kernels. В отличие от пути FlashInfer CUTLASS, Humming использует компиляцию времени выполнения NVIDIA CUDA Runtime Compilation (NVRTC) для генерации и компиляции CUBIN в реальном времени для фактических размеров M/N/K, типов данных и архитектуры GPU. Он кэширует скомпилированные бинарные файлы в ~/.humming/cache. Это специализирует ядра для форматов Ling-3.0-flash, включая его относительно узкий размер moe_intermediate_size в 768. Кроме того, компиляция происходит с более тонкой гранулярностью: индивидуальное ядро завершается за считанные секунды, в то время как путь FlashInfer CUTLASS использует ninja для компиляции 97 целей и занимает десятки минут. Оптимизация 2: Онлайн-квантование FP8 головы LM. В контрольной точке голова LM хранится в BF16 и указана в modules_to_not_convert, поэтому она не квантуется во время загрузки. Её словарная GEMM составляет 157,184 × 2,560, и весь блок весов должен быть прочитан для каждого сгенерированного токена. Под ограничением пропускной способности это высокоценная цель для сжатия. Оптимизация применяет динамическую конфигурацию квантования FP8 только при построении головы LM. Остальная часть модели продолжает загружаться с конфигурацией FP8/MXFP4 контрольной точки. Перемещение весов головы LM из BF16 в FP8 сокращает объем чтения для этого слоя вдвое. Оптимизация 3: Спекулятивное декодирование MTP с NEXTN. Первые две оптимизации снижают стоимость каждого шага декодирования. Спекулятивное декодирование следует другому пути: оно уменьшает количество шагов декодирования. Ling-3.0-flash включает слой предсказания NEXTN, который можно использовать напрямую в качестве модели наброска без дополнительного обучения или загрузок. Конфигурация использует три шага наброска и окно проверки из четырех токенов. В каждом раунде набросок предсказывает три токена последовательно, а цель проверяет четыре позиции сразу, принимая правильный префикс. Польза зависит от двух количеств: длины принятия, средней числа принятых токенов за раунд, и отношения стоимости проверки, стоимости одного шага проверки относительно нормального шага декодирования. Заключение. В ходе полной оценки GSM8K три оптимизации увеличили пропускную способность декодирования на 42.5%, снизили среднюю задержку на 24.5% и не вызвали статистически значимых изменений в точности. Их механизмы не перекрываются: Humming и FP8 голова LM снижают стоимость каждого шага, в то время как MTP снижает количество шагов, поэтому техники могут комбинироваться. Однако комбинирование не является автоматическим. Каждая оптимизация работала независимо, но включение всех трех требовало от модели наброска совместного использования полного модуля головы LM. В противном случае система тихо деградирует до конфигурации, медленнее необработанного базового уровня. Во время развертывания убедитесь, что каждая оптимизация активна при запуске; это более надежно, чем вывод состояния конфигурации из последующих показателей производительности. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.