Как сообщает VentureBeat, немецкий стартап Black Forest Labs (BFL), известный своими моделями FLUX для изображений и видео, углубляется в область робототехники с новой моделью FLUX 3 Action. Эта модель, обладающая 7 миллиардами параметров, представляет собой открытый «мировой модель действия», способный обрабатывать визуальные данные, текущее состояние робота и инструкции на естественном языке, переводя их в физические действия. Компания утверждает, что FLUX 3 Action достигает общего коэффициента успеха в 42,92% по бенчмарку NVIDIA RoboLab-120, что ставит её на первое место среди всех моделей, представленных в открытом доступе. Более того, для разработчиков, желающих внедрить, а не просто протестировать робототехническую модель, FLUX 3 Action работает в 1,43 раза быстрее, чем аналогичная модель NVIDIA Cosmos3-Nano-Policy, при этом используя всего 44% от её параметров. BFL также тестирует ту же архитектуру за пределами физической робототехники и утверждает, что данный подход может быть масштабирован для использования в симуляциях, играх и компьютерных приложениях, где модели также необходимо интерпретировать изменяющиеся визуальные состояния и определять, какие действия предпринять далее. Компания обучила специфические для задач политики FLUX 3 Action, чтобы управлять дронами в реальной жизни и даже успешно победила в известной компьютерной игре «Doom» без единой смерти персонажа, управляя видом от первого лица и оружием главного героя. BFL охарактеризовала эти результаты как ранние эксперименты, а не как производственные возможности. Компания сообщила VentureBeat, что выпустит веса, код, рецепты тонкой настройки, бенчмарки и воспроизводимые примеры, включая реализацию с использованием относительно недорогого робота SO-101 и фреймворка LeRobot от Hugging Face. Команды также смогут донастраивать модель на основе демонстраций, собранных с их собственных роботов. BFL впервые представила модель FLUX 3 Action, когда в июле была запущена более широкая семья FLUX 3. На тот момент Action была доступна только через выбранных исследовательских и коммерческих партнеров, в то время как более широкая модель FLUX 3 Dev оставалась обещанной на будущее. Бенчмарк RoboLab, разработанный NVIDIA, предназначен для тестирования универсальных робототехнических политик по 120 задачам, охватывающим визуальное понимание, реляционное рассуждение и процедурные навыки с множеством уровней сложности и вариациями в том, насколько точно описана задача. NVIDIA разработала его частично для того, чтобы избежать насыщения, которое может сделать старые робототехнические бенчмарки менее полезными по мере улучшения политик. BFL утверждает, что успех FLUX 3 Action в 42,92% превышает предыдущую наивысшую оценку открытой модели на RoboLab, Cosmos 3, на 6,1 процентных пункта. Однако конкурентная картина гораздо шире, чем только рейтинг RoboLab. Непосредственно перед выпуском FLUX 3 Action, OASIS WAM занимал первое место на RoboLab-120 с 39,0%. Тем не менее, FLUX 3 Action вышла вперед. Сравнение размеров имеет значение по сравнению с Cosmos, хотя FLUX 3 Action не является необычно маленькой моделью на всем рынке робототехнических моделей. Модель Ai2 MolmoAct 2 имеет примерно 5 миллиардов параметров, в то время как NVIDIA распределяет контрольную точку GR00T N1.7 с 3 миллиардами параметров. Различие заключается в том, что BFL утверждает более высокий коэффициент успеха на RoboLab с существенно меньшим количеством параметров, чем у ранее лидировавшей модели. BFL также подчеркивает скорость вывода. Предоставленные результаты сравнивают модели, используя реальный временной фактор, который по сути является количеством задержки вывода, деленным на продолжительность реального действия робота. Более низкие числа лучше, так как это означает, что модель тратит меньше времени на вычисления относительно количества движений робота, которые она контролирует. BFL утверждает, что дистиллированные варианты FLUX 3 Action устанавливают новую границу между коэффициентом успеха на RoboLab и скоростью вывода на графических процессорах дата-центров, и что модель превосходит π0.5 по реальному временному фактору, сохраняя при этом существенно более высокий уровень успеха в задачах. Эти метрики важны для развертывания: политика робота, которая показывает хорошие результаты, но не может непрерывно производить действия достаточно быстро, рискует столкнуться с паузами, дрожанием или задержками в реакциях. Важно отметить, что FLUX 3 Action и Cosmos 3 классифицируются как мировые модели действия, или WAM, которые связывают предсказания о том, как будет развиваться мир, с генерацией действий. Модели физического интеллекта, такие как π0.5 и семья GR00T от NVIDIA, являются моделями визуально-языкового действия, или VLA, в то время как Ai2 описывает MolmoAct 2 как «модель рассуждения действий». Все они могут конкурировать за перекрывающиеся рабочие нагрузки по манипуляции роботами, но они не обязательно обучаются или генерируют действия одинаковым образом. Архитектура модели следует тезису, к которому BFL стремилась большую часть этого года: модель, обученная достаточно глубоко на видео, должна научиться полезным представлениям движения, контакта, поведения объектов и причинно-следственной связи, и эти представления могут быть затем адаптированы для управления роботами. FLUX 3 Action строится на предобучении изображений, видео и аудио, но BFL утверждает, что она использует меньшую архитектуру, оптимизированную для практического развертывания. Во время дополнительного обучения модель учится предсказывать будущие кадры видео и действия вместе. В процессе вывода она принимает недавние кадры с камеры, состояние системы и описание задачи, и возвращает следующие 32 действия вместе с предсказанием того, как будет развиваться визуальная сцена. Затем робот наблюдает за обновленной средой и повторяет процесс. Подход BFL восходит к их исследованию Self-Flow, которое пытается сделать так, чтобы генеративная модель училась полезным представлениям своих входов одновременно с обучением их генерации. VentureBeat ранее освещал Self-Flow как попытку BFL устранить зависимость от отдельных замороженных моделей представления, таких как CLIP или DINO. Позже BFL масштабировала эту работу в FLUX 3. BFL выпустила код вывода Self-Flow и контрольную точку ImageNet под лицензией Apache 2.0, хотя полный код обучения и контрольная точка видео-модели еще не были опубликованы. Эта связь между генерацией и робототехникой уже была видна в FLUX-mimic, созданной совместно со швейцарским стартапом mimic robotics. BFL заявила, что ранняя система использовала представления из видеобазовой модели FLUX 3 для управления роботами, выполняющими задачи индустриальной манипуляции, и была протестирована в производственных условиях Audi. FLUX 3 Action переносит этот подход в модель, которую другие команды робототехники могут адаптировать самостоятельно. BFL утверждает, что политика, показанная в новых демонстрациях, была тонко настроена на основе около 200 телепереведенных эпизодов, охватывающих несколько связанных задач выбора и размещения. Компания утверждает, что объекты, показанные в тестовых видео, не были представлены в этом наборе обучения. Одна предоставленная демонстрация особенно примечательна, поскольку робот первоначально делает ошибку, а затем пытается выполнить задачу снова. В сопроводительном интервью исследователи описали это поведение следующим образом: «модель сначала потерпела неудачу, а затем попыталась снова и лучше». Это все еще демонстрация, выбранная компанией, а не доказательство того, что автономное восстановление будет обобщаться на всех роботах и в различных средах, но это иллюстрирует поведение, которое BFL надеется, что предобученная мировая модель сможет обеспечить без необходимости явно демонстрировать каждую возможную ситуацию неудачи. BFL не одинок в своих утверждениях о том, что широко предобученная модель может сократить объем данных, специфичных для робота, необходимых для обучения. Google DeepMind утверждает, что их собственная модель Gemini Robotics On-Device 2 VLA может адаптироваться к новым воплощениям робота с менее чем 200 примерами, хотя доступ остается ограниченным для доверенных тестеров. С открытой стороны, MolmoAct 2 от Ai2 может быть наиболее напрямую релевантным контрпримером к стратегии выпуска BFL. Ai2 выпустила не только веса MolmoAct 2, но и код его обучения, скрипты тонкой настройки, наборы данных, оценки и интеграцию LeRobot. Ai2 сообщает о среднем коэффициенте успеха 87,1% по пяти своим задачам оценки Franka в реальном мире, по сравнению с 45,2% для π0.5 — результаты, которые нельзя напрямую сравнивать с процентами RoboLab, поскольку наборы задач и методология оценки различаются. Это различие имеет значение для разработчиков, оценивающих эти системы: в робототехнике по-прежнему отсутствует единый бенчмарк, который четко устанавливает общего лидера модели на симуляции, реальном оборудовании, различных воплощениях и различных типах манипуляции. Результат FLUX 3 Action устанавливает её позицию на RoboLab; это не разрешает более широкий конкурс среди WAM, VLA и моделей рассуждения действий. BFL переходит от генерации изображений к физическому ИИ. FLUX 3 Action также демонстрирует, как быстро расширилась сфера деятельности BFL с момента её появления в 2024 году. Стартап был основан исследователями, стоящими за такими технологиями, как латентная диффузия и Stable Diffusion, и первоначально построил свою репутацию вокруг семейства моделей FLUX.1 для изображений. Затем BFL представила коммерческий API с FLUX1.1 Pro, а затем расширила свою стратегию открытого ядра с семейством FLUX.2, включая меньшие модели, разработанные для быстрого вывода и локального развертывания. BFL привлекла 300 миллионов долларов в рамках раунда финансирования Series B при оценке 3,25 миллиарда долларов в декабре 2025 года, что довело общее финансирование компании до более чем 450 миллионов долларов. Компания работает из Фрайбурга и Сан-Франциско. FLUX 3 Video стал общедоступным через API BFL в августе, с ценами по мере использования, начиная с 0,06 долларов за секунду для Draft HD, 0,17 долларов за секунду для стандартного HD и 0,29 долларов за секунду для FHD генерации текста или изображений в видео. BFL теперь также предлагает увеличение видео до более высоких разрешений через отдельную конечную точку. Однако материалы выпуска для новой модели FLUX 3 Action пока не анонсируют API Action, цены API или конкретную коммерческую лицензию для весов. На момент публикации публичная страница FLUX 3 компании BFL все еще описывала Action как развертываемую через выбранных исследовательских и коммерческих партнеров. Их публичная документация по продуктам также в основном описывает FLUX 3 как API для генерации видео, а не открывает конечную точку FLUX 3 Action. Для команд робототехников это делает саморазмещение и тонкая настройка центральным предложением на данный момент. Такой подход помещает FLUX 3 Action в все более переполненную экосистему открытой или загружаемой робототехники: GR00T N1.7 от NVIDIA, выпущенный в апреле, является открытой 3B VLA, нацеленной в первую очередь на обобщенную манипуляцию гуманоидов и перекрестное воплощение, и его можно дообучить для конкретных роботов, задач и сред. MolmoAct 2, выпущенный в мае, аналогично нацелен на локальную адаптацию и интегрирован непосредственно в LeRobot. В отличие от этого, Gemini Robotics On-Device 2 от Google, выпущенный в июле, представляет собой проприетарный конец спектра: он предназначен для работы локально на аппаратном обеспечении робота, но Google в настоящее время распределяет его только среди выбранных тестеров, а не публикует его веса. И это может оказаться более значимой частью выпуска. Вместо того чтобы требовать от команды обучения большой модели основ робототехники, BFL ставит на то, что разработчики могут начать с относительно компактной модели, обладающей широкими визуальными и физическими представлениями, собирать демонстрации на своем оборудовании и адаптировать её для таких задач, как сортировка, сборка, упаковка, навигация и выбор и размещение. Открытый выпуск также предоставляет командам другую возможность развертывания по сравнению с хостингом робототехнических услуг: они могут проверять и модифицировать модель, выполнять вывод в своей собственной инфраструктуре и потенциально сохранять собственные демонстрации роботов и операционные данные в своей среде. То, насколько коммерчески разрешительными будут эти возможности, все еще зависит от публикации BFL окончательных условий лицензии. Числа бенчмарка предполагают, что такой подход может быть конкурентоспособным в симуляции. Более широкий конкурентный вопрос теперь заключается не в том, может ли FLUX 3 Action обойти одну конкретную модель на одном рейтинге, а в том, окажется ли её сочетание предобучения мировой модели, размера 7B, открытых весов и рабочего процесса тонкой настройки полезным в разнообразных реальных роботах, которые на самом деле используют разработчики. Следующий тест — смогут ли внешние команды воспроизвести эти достижения на своих собственных роботах и сделает ли меньший размер и открытые веса FLUX 3 Action достаточно практичным для производства. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. ChatGPT добавляет голосовые функции для мобильного приложения Священник обеспокоен поведением «картелей» среди крупных лабораторий ИИ Meta анонсировала интеграцию агента Muse в свои смарт-очки с новыми функциями. Hello Robot представит Stretch 4 на TechCrunch Disrupt 2026, демонстрируя его полезные функции для людей с ограниченными возможностями. NVIDIA представила Isaac ROS 5.0, набор инструментов для разработки роботов с ИИ.