Как сообщает издание NVIDIA Developer, искусственный интеллект расширяет свои возможности за пределами центра обработки данных, так как разработчики создают новое поколение агентов, которые действуют на краю: они следят за вниманием водителя и условиями в салоне, помогают роботам понимать окружающую среду и планировать задачи, а также координируют работу флотов машин на производственных линиях. Эти физические приложения ИИ зависят от моделей, которые воспринимают, рассуждают и действуют в условиях ограниченной памяти, мощности и задержки. Однако подготовка модели к запуску может требовать значительных усилий. NVIDIA DGX Spark, теперь доступный в конфигурации 64 ГБ, предоставляет встроенным разработчикам платформу для прототипирования, тонкой настройки и тестирования моделей и агентов. NVIDIA TensorRT Edge-LLM предлагает легковесный C++ интерфейс для выполнения, предназначенный для встроенных рабочих нагрузок, предоставляя ту же инфраструктуру вывода как для разработки на Spark, так и для развертывания на таких платформах, как NVIDIA Jetson Thor, NVIDIA DRIVE AGX Thor и NVIDIA IGX Thor. Начать можно всего с нескольких команд с использованием интерфейса командной строки trtedge. Он загружает выбранную модель и создает TensorRT-движки, оптимизированные для выполнения на Spark. В этом учебном пособии вы запустите NVIDIA Nemotron-3.5 Lightning, модель только для текста, на Spark с использованием TensorRT Edge-LLM. Вы протестируете запросы в терминале и предоставите модель через API для прототипирования приложений. Также вы включите спекулятивное декодирование DSpark для ускорения генерации. Для начала вам потребуется настроить свою среду разработки. Для этого вам понадобится DGX Spark с поддерживаемым программным обеспечением NVIDIA, NVIDIA CUDA 13, TensorRT 10.16.1.11 или новее в серии 10.x и Python версии 3.10 до 3.12. Примеры ниже были протестированы с TensorRT Edge-LLM 0.11.1 и TensorRT 10.16.1.11. Откройте терминал на вашем DGX Spark, создайте и активируйте виртуальную среду, а затем установите TensorRT Edge-LLM: python3 -m venv --system-site-packages .venv-edgellm source .venv-edgellm/bin/activate python -m pip install --upgrade pip python -m pip install "tensorrt-edgellm[server]==0.11.1". Важно: виртуальная среда позволяет сохранять новые установленные пакеты отдельно, обеспечивая доступ ко всем системным пакетам Python, включая TensorRT. Проверьте версию TensorRT и подтвердите, что среда выполнения TensorRT Edge-LLM загружается: python -c "import tensorrt as trt; v = tuple(map(int, trt.__version__.split('.'))); assert (10, 16, 1, 11) <= v < (11,), f'TensorRT >=10.16.1.11 and <11 required; found {trt.__version__}'; from tensorrt_edgellm import runtime; runtime.load()". Если совместимые системные привязки TensorRT недоступны, следуйте инструкциям по установке NVIDIA TensorRT pip, чтобы установить совместимую версию TensorRT 10.x в активированной среде, затем повторно выполните команду проверки. С активной виртуальной средой начните чат с Nemotron-3.5 Lightning: trtedge chat nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. При первом запуске дождитесь завершения загрузки модели (примерно 21 ГБ) и сборки движка. Файлы по умолчанию хранятся в ~/.cache/tensorrt-edgellm, поэтому оставьте место как для модели, так и для движков. Позже запуски повторно используют соответствующие кэшированные движки. Как только появится приглашение чата, введите: Преобразуйте 25°C в Фаренгейт. Ответьте одним предложением. Пример ответа: 25°C равно 77°F. Продолжайте разговор с последующими вопросами или введите /exit, чтобы завершить сессию. Предоставьте свою модель через локальный совместимый с OpenAI API на Spark для разработки и тестирования приложений. С активной виртуальной средой запустите сервер: trtedge serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \ --host 127.0.0.1 \ --port 8000. Сервер создает или повторно использует движок для этой конфигурации. После завершения запуска откройте второй терминал на вашем DGX Spark и проверьте, готов ли он: curl -fsS http://127.0.0.1:8000/health/ready. Ответ, содержащий "status":"ready", подтверждает, что сервер готов. Отправьте свой первый запрос к конечной точке завершения чата: curl -fsS -N http://127.0.0.1:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4", "messages": [ { "role": "user", "content": "Преобразуйте 25°C в Фаренгейт. Ответьте одним предложением." } ], "stream": true, "temperature": 0, "max_tokens": 128 }'. Ответ будет передаваться в виде событий JSON. Держите сервер запущенным для дальнейших запросов или нажмите Ctrl+C в терминале сервера, чтобы остановить его. Опционально: включите спекулятивное декодирование. Вы можете ускорить генерацию с помощью спекулятивного декодирования DSpark, которое использует черновую модель для предложения нескольких токенов, которые основная модель проверяет за один проход. Чтобы включить это с тремя черновыми токенами, нажмите Ctrl+C в терминале сервера, затем перезапустите сервер с включенным DSpark: trtedge serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \ --host 127.0.0.1 \ --port 8000 \ --speculative-config '{ "method": "dspark", "model": "nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark", "num_speculative_tokens": 3 }'. Как только сервер будет готов, отправьте еще один запрос к конечной точке завершения чата, чтобы попробовать генерацию с включенным DSpark. Вы можете поэкспериментировать с num_speculative_tokens и другими настройками, чтобы настроить скорость генерации для вашей рабочей нагрузки. См. документацию по спекулятивному декодированию, чтобы узнать больше. Производительность на DGX Spark 64 ГБ. TensorRT Edge-LLM обеспечивает низкую задержку ответа и быструю генерацию токенов с NVIDIA Nemotron-3.5 Lightning на DGX Spark 64 ГБ. Таблица ниже сообщает время до первого токена (TTFT) и скорость генерации с включенным и отключенным спекулятивным декодированием DSpark. Следующие шаги. Попробуйте другую модель из списка поддерживаемых моделей и продолжайте разрабатывать свое приложение на Spark. Варианты включают модели для обработки изображений и видео, а также модели распознавания речи и текстов. Изучите документацию TensorRT Edge-LLM для рабочих процессов и требований, специфичных для моделей, на вашей целевой встроенной платформе. И посетите страницу разработчика Nemotron для получения ресурсов, чтобы начать. Изучите открытые модели Nemotron и наборы данных на Hugging Face и Blueprints на build.nvidia.com. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.