Elorian запускает модель ИИ, способную рассуждать об изображениях

Как сообщает TechCrunch, стартап Elorian из Пало-Альто, который привлек 55 миллионов долларов на начальном этапе при оценке в 300 миллионов долларов до выпуска продукта, в пятницу представил свою первую модель. Модель, названная Glimpse, запускается в качестве исследовательского превью с доступом через API, а чат-интерфейс пока доступен только по списку ожидания, поэтому на данный момент это таблица результатов и тезис. Тезис заключается в том, что современные модели ИИ, несмотря на свои навыки в работе с языком и кодом, всё ещё не могут по-настоящему видеть. Большинство мультимодальных моделей смотрят на изображение один раз, преобразуют его в токены и затем рассуждают о нём в текстовом формате, как будто описывают фотографию по памяти. Glimpse продолжает возвращаться к источнику. В процессе рассуждения она может обрезать изображение, извлекать конкретные кадры из видео или выполнять код для измерения или сравнения того, что она видит, механизм, который Elorian называет «визуальным рабочим пространством». Можно представить себе человека, который щипком увеличивает изображение на фотографии на телефоне, чтобы дважды проверить, что он думал, что увидел. Для Эндрю Дая, бывшего исследователя Google DeepMind и CEO Elorian, одним из самых очевидных признаков того, что ИИ всё ещё не может по-настоящему видеть, стал вечер настольных игр. В прошлом году он сфотографировал настольную игру, которую только что закончил с друзьями, и спросил у передовой модели, кто выигрывает. Она не смогла ответить. Настольные игры «каждая имеют свой визуальный язык, каждая имеет свою иконографию, символы», сказал он TechCrunch. «Для взрослого это довольно легко понять с минимальным текстом, но эти модели не могут интуитивно понять, что означают символы». Дай добавил: «Люди могут смотреть на схемы Ikea без текста и собирать мебель Ikea, верно? Почему ИИ модели не могут?» Этот подход не является совершенно новым — OpenAI добавила обрезку и увеличение во время рассуждения в свои модели серии o в 2025 году — но предложение Elorian заключается в том, что они построили всю модель вокруг этого, и сделали это недорого. Компания утверждает, что небольшая команда обучила Glimpse на нескольких сотнях графических процессоров и что модель значительно меньше, чем передовые системы, с которыми она сравнивается. Glimpse стоит 0,60 доллара за миллион токенов на входе и 3 доллара за миллион токенов на выходе — дешевле, чем модели среднего уровня, такие как Sonnet и Sol, но дороже, чем легковесные модели, такие как Haiku и Luna. Но согласно оценкам Elorian, Glimpse превосходит даже GPT-6 Astra в рассуждениях о научных графиках и аннотировании коротких видео, показывая конкурентоспособные результаты в других задачах визуального рассуждения. Elorian вышел из режима скрытности шесть месяцев назад с раундом, который возглавили Striker Venture Partners, Menlo Ventures и Altimeter Capital, с участием Nvidia и главного научного сотрудника Google Джеффа Дина. Первоначальные цели — компании, работающие с большим объемом видео: робототехнические фирмы, научные лаборатории, медиа и креативные компании. В долгосрочной перспективе Elorian хочет перейти от видения к действию. Это означает создание модели сцены, используя её для выбора действия, включая прямое управление роботами. В следующем году, по словам Дая, компания намерена создать «лучшую в мире модель визуального рассуждения», которая будет лидировать на каждом тесте визуального рассуждения. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.