🌟 NVIDIA выпустила Nemotron 3.5 Bolt E4B Спустя чуть больше недели после релиза, когда вместе с мультимодальной Nemotron 3.5 Super VL вышла её сжатая версия Bolt на 74 млрд параметров, NVIDIA, как и обещала, опубликовала веса совсем компактной модели для периферийных устройств. Происхождение у новинки другое, чем у старшего Bolt. Если тот получился сжатием Super VL, то E4B собран на Gemma 4 E4B от Google, которую NVIDIA дообучила с подкреплением под следование инструкциям, многошаговый вызов инструментов и диалоги. В модели 8 млрд параметров, из которых на токен работают 4 млрд, контекст 64 тысячи токенов, поддерживается 35 языков. Квантование до 4 бит сжимает её примерно до 4 ГБ потребления памяти, рассуждения включаются и выключаются, а их длину можно ограничить ради скорости. Рассчитана модель на видеокарты GeForce RTX, платы Jetson и мини-компьютеры Spark. 🟡Тесты На RTX 5070 первый токен появляется через 548 мс, дальше идёт 133 токена в секунду. На плате Jetson Orin Nano те же замеры дают 5,8 секунды до первого токена и 15,5 токена в секунду, так что обещанная отзывчивость сильно зависит от железа. По замерам NVIDIA, Bolt E4B в среднем на 40% лучше предыдущей Nemotron 3 Nano 4B и тратит до 80% меньше токенов на ответ. Модель обходит родительскую Gemma 4 E4B почти везде, но Qwen3.5 4B остаётся сильнее в работе с инструментами, 61,7 против 52,3 на Tau2-Bench, и в длинном контексте, 95,4 против 85,8 на RULER. Вместе с весами в BF16 и GGUF, опубликованы отдельные вспомогательные модели-черновики по методу DFlash, которые предлагают сразу несколько следующих токенов, а основная модель их проверяет, что по словам NVIDIA даёт до 21% прироста скорости. Поддержку уже завезли в llama.cpp, Ollama, LM Studio, vLLM и SGLang.
From the original source:
Telegram — AI Machine Learning Big Data
Read full article at Telegram — AI Machine Learning Big DataNVIDIA released Nemotron 3.5 Bolt E4B
🌟 NVIDIA released Nemotron 3.5 Bolt E4B A little more than a week after the release, when its compressed version of Bolt with 74 billion parameters was released along with the multimodal Nemotron 3.5 Super VL, NVIDIA, as promised, published the weights of a very compact model for peripheral devices.…
AI Summary & Key Takeaways
- 🌟 NVIDIA released Nemotron 3.5 Bolt E4B A little more than a week after the release, when its compressed version of Bolt with 74 billion parameters was released along with the multimodal Nemotron 3.5 Super VL, NVIDIA, as promised, published the weights of a very compact model for peripheral devices.…
NVIDIA released Nemotron 3.5 Bolt E4B
Related stories
“More words than actions”: what is really behind the digitalization of Kazakhstan?
💬 “More words than actions”: what is really behind the digitalization of Kazakhstan? Kazakhstan is actively implementing artificial intelligence, launching digital platforms and supercomputers. But how do you know if technology really makes people's lives easier? In the new blog of Aziz Shuzheev...
Talking about digitalization all the time is no longer enough. What has really changed?
There is one phrase in the recent Presidential Address that, in my opinion, deserves much more attention than many loud statements about technology. The head of state said that in digitalization we still have “more words than actions.” The phrase is short. But for all our digital...
Circumventing the Computational Hardness of Computational Arbitrage
arXiv:2610.40831v1 Announce Type: new Abstract: AI model marketplaces host providers with heterogeneous costs and capabilities. These differences create an opportunity for computational arbitrage (Olmedo et al., 2026), in which an intermediary purchases inference from a…
Beyond Plausible Prediction: Safety Sufficiency in Web World Models
arXiv:2610.40798v1 Announce Type: new Abstract: Web world models increasingly predict the consequences of candidate actions before agents act, yet a plausible predicted future does not necessarily support the correct safety decision. In a matched human evaluation of 3,000…
