NVIDIA released Nemotron 3.5 Bolt E4B

🌟 NVIDIA выпустила Nemotron 3.5 Bolt E4B Спустя чуть больше недели после релиза, когда вместе с мультимодальной Nemotron 3.5 Super VL вышла её сжатая версия Bolt на 74 млрд параметров, NVIDIA, как и обещала, опубликовала веса совсем компактной модели для периферийных устройств. Происхождение у новинки другое, чем у старшего Bolt. Если тот получился сжатием Super VL, то E4B собран на Gemma 4 E4B от Google, которую NVIDIA дообучила с подкреплением под следование инструкциям, многошаговый вызов инструментов и диалоги. В модели 8 млрд параметров, из которых на токен работают 4 млрд, контекст 64 тысячи токенов, поддерживается 35 языков. Квантование до 4 бит сжимает её примерно до 4 ГБ потребления памяти, рассуждения включаются и выключаются, а их длину можно ограничить ради скорости. Рассчитана модель на видеокарты GeForce RTX, платы Jetson и мини-компьютеры Spark. 🟡Тесты На RTX 5070 первый токен появляется через 548 мс, дальше идёт 133 токена в секунду. На плате Jetson Orin Nano те же замеры дают 5,8 секунды до первого токена и 15,5 токена в секунду, так что обещанная отзывчивость сильно зависит от железа. По замерам NVIDIA, Bolt E4B в среднем на 40% лучше предыдущей Nemotron 3 Nano 4B и тратит до 80% меньше токенов на ответ. Модель обходит родительскую Gemma 4 E4B почти везде, но Qwen3.5 4B остаётся сильнее в работе с инструментами, 61,7 против 52,3 на Tau2-Bench, и в длинном контексте, 95,4 против 85,8 на RULER. Вместе с весами в BF16 и GGUF, опубликованы отдельные вспомогательные модели-черновики по методу DFlash, которые предлагают сразу несколько следующих токенов, а основная модель их проверяет, что по словам NVIDIA даёт до 21% прироста скорости. Поддержку уже завезли в llama.cpp, Ollama, LM Studio, vLLM и SGLang.