TwelveLabs introduces Pegasus 1.6 to improve robot training data

Согласно материалу VentureBeat, компания TwelveLabs анонсировала выход Pegasus 1.6, который добавляет специализированную поддержку для видео, записанных с точки зрения человека или машины, выполняющей задачу. TwelveLabs нацелена на разработчиков роботов и поставщиков данных, которым необходимо преобразовывать такие записи в аннотированный и временной материал для обучения. Это продолжение модели Pegasus 1.5, которая уже предлагала возможности описания видео и сегментации. Обе модели предназначены для преобразования сырого видео в структурированные временные метаданные. В отличие от универсальных мультимодальных моделей, Pegasus ориентирована на временное рассуждение и понимание видео в целом. Для предприятий это решение помогает преодолеть неприметное препятствие на пути к автоматизации: превращение записей физической работы в данные, которые могут использовать разработчики. По словам соучредителя и генерального директора TwelveLabs Джея Ли, компания изначально сосредоточилась на медиа, развлечениях и рекламе, где клиентам необходимо было искать большие видеоколлекции и описывать их содержимое. Переход в область робототехники позволяет применять эти возможности к другой задаче: выявлению полезных примеров физического поведения. Первая версия Pegasus 1.5 уже разбивала видео на временные сегменты и возвращала структурированные описания. Теперь Pegasus 1.6 добавляет поддержку для видео с первой-person, улучшая качество аннотаций. Клиенты могут задавать категории и поля, которые им нужны, а модель организует видео в соответствии с этими требованиями. Например, команда по сборке может запросить отдельные сегменты, охватывающие подъем компонентов, их позиционирование и закрепление, с описаниями роли каждой руки. TwelveLabs выделяет пять основных рабочих процессов: разбивка записей на аннотированные действия, генерация детализированных подписей, проверка качества видео, поиск необычных событий и дубликатов, а также маркировка потенциально чувствительного материала. В обновлении также добавлен анализ изображений и улучшенная идентификация людей и объектов, что расширяет полезность Pegasus за пределы робототехники. Ли описал текущую возможность в робототехнике как инфраструктуру обучения, подчеркивая, что текущие развертывания часто касаются ограниченных задач или сбора полевых данных для улучшения моделей. Компания также упомянула о конкуренции с другими разработчиками, такими как Nvidia и Google, которые предлагают аналогичные решения для подготовки данных. TwelveLabs продолжает наращивать свои возможности и улучшать точность аннотаций, предлагая конкурентоспособные цены на свои услуги. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.