По данным Meta, в центре Питтсбурга происходит тихая революция, обещающая изменить представление о независимости для людей с ограниченными возможностями. В основе этого движения находится Лаборатория исследований человеческой инженерии (HERL) при Университете Питтсбурга, которая сейчас ведет инициативу с финансированием до 41,5 миллиона долларов от Агентства передовых исследовательских проектов в области здравоохранения (ARPA-H). Это агентство США было создано для поддержки трансформационных прорывов в биомедицине и здравоохранении. С поддержкой ARPA-H команда HERL и ATDev, пионер в области инновационных вспомогательных технологий, разрабатывают Платформу роботизированной помощи в мобильности и манипуляциях (RAMMP), сочетая передовые технологии робототехники, искусственного интеллекта и ориентированный на пользователя дизайн. Для примерно 5,5 миллионов пользователей инвалидных колясок в США сохранение мобильности обеспечивает возможность участия в повседневной жизни. Когда вспомогательная технология не отражает сложность реального мира, это может подорвать уверенность, независимость и физическую безопасность. Статистика печальна: ежегодно в отделениях неотложной помощи США лечат более 100 000 травм, связанных с инвалидными колясками, часто из-за падений. Таким образом, необходимость в более умных, безопасных и адаптируемых технологиях становится крайне актуальной. Проект RAMMP нацелен на решение недостатков текущих дизайнов роботизированных мобильных платформ, интегрируя передовые технологии робототехники, новые операционные системы и технологии цифровых двойников. Это создает виртуальную среду для безопасного и масштабируемого тестирования и разработки. Подход RAMMP также включает искусственный интеллект, в том числе использование нескольких открытых моделей ИИ от Meta, таких как DINO и модель сегментации Anything Model (SAM). DINO и SAM уже помогли в различных проектах, от медицинской визуализации до охраны дикой природы. DINO, самонастраиваемый трансформер визуального восприятия, отлично справляется с обучением визуальных представлений на неразмеченных данных, что делает его идеальным для сред, где размеченные наборы данных дефицитны. SAM, в свою очередь, предназначен для сегментации объектов и способен идентифицировать и обрисовывать любой объект на изображении или видео с минимальными подсказками. Универсальность и точность Segment Anything сделали его основным инструментом в областях, где важна точная идентификация объектов. Для людей, использующих вспомогательные устройства, каждая секунда имеет значение. Непредсказуемая природа повседневной среды, например, когда ребенок выбегает на тротуар или внезапно появляется бордюр, требует мгновенной реакции. Обработка изображений с камер и данных датчиков непосредственно на устройстве, известная как вычисления на краю, позволяет роботизированным мобильным платформам функционировать как отзывчивые инструменты. Эти инструменты должны быть надежными и последовательными в широком диапазоне динамических условий, в которых живут люди. В то же время развертывание мощных моделей ИИ, таких как DINOv3 и SAM на ограниченном, работающем от батареи оборудовании, представляет собой серьезные инженерные проблемы. Реальные развертывания должны учитывать практические факторы, включая срок службы батареи, рассеивание тепла, ненадежную сетевую связь и строгие требования к размеру и весу. Однако преодоление этих ограничений не имеет значения для конечного пользователя, если он не может выполнять свои повседневные действия с помощью этих новых роботизированных систем. Эти новые методы позволяют пользователям взаимодействовать с роботом более естественно, используя свое непосредственное окружение в качестве контекста, освобождая как инженеров, так и пользователей от необходимости разрабатывать и навигировать сложные интерфейсы. Эта функциональность уже интегрируется командой RAMMP в их первый прототип. Используя инструменты, разработанные на основе DINO, для запроса образов сенсоров робота, чтобы обнаруживать автоматические кнопки дверей, чашки и бордюры для помощи в навигации. С этой функциональностью, готовой к реальным испытаниям, инженеры сосредоточены на голосовом и сенсорном вводе, позволяя пользователям выбирать и взаимодействовать с конкретными объектами в их окружении. В дополнение к существующим проблемам обеспечения точности и временной согласованности выходов модели, это создает дополнительную задачу обеспечения надежности и предсказуемости в ответ на запросы и ввод от пользователей. DINOv3 служит компактным и эффективным 'визуальным мозгом' для устройств — универсальной основой, на которую можно накладывать специализированные модули для выполнения таких задач, как обнаружение объектов или отслеживание движений, что позволяет повторно использовать визуальные данные и экономить энергию. Применяя обе модели в разработке роботизированных систем, инженеры оптимизируют модели для устройств на краю, уменьшая объем памяти, используя более низкую точность, когда это уместно, и разворачивая в форматах, адаптированных к реальным условиям. Это обеспечивает надежную работу в реальном времени для пользователей. Запуская на практических разрешениях и с эффективным пакетированием, обе модели остаются быстрыми и надежными, даже на компактном, работающем от батареи оборудовании, используемом в роботизированных мобильных платформах и манипуляторах, иногда жертвуя небольшой точностью границ и/или детализацией функций ради скорости и стабильности, необходимых пользователям в движении. Этот баланс между точностью и практичностью является центральным для философии проекта. Система восприятия RAMMP построена на RF-DETR, легкой модели обнаружения, тонко настроенной с использованием встраиваний DINOv2. Данные для обучения автоматически размечаются с помощью SAM, что позволяет команде быстро генерировать высококачественные аннотации для полного диапазона углов, высот, фонов и условий освещения, с которыми сталкиваются вспомогательные устройства в реальном мире. Аугментации данных и стратегии многопроекционного зрения дополнительно укрепляют согласованность с разных перспектив. Результатом является система, которая умная, адаптивная и предлагает более безопасную и уверенную мобильность. Сочетая мощь аннотаций SAM с богатыми визуальными представлениями DINOv2 в тонко настроенной модели RF-DETR, RAMMP достигает реального 360-градусного осознания окружающей среды и адаптивного обнаружения объектов. HERL и ATDev работают вместе как ключевые партнеры в консорциуме RAMMP, каждый из которых вносит свои уникальные сильные стороны в проект. HERL возглавляет инициативу благодаря своей глубокой экспертизе в области биомедицинской инженерии и исследований, ориентированных на пользователя, устанавливая видение для следующего поколения вспомогательной мобильности. ATDev приносит надежную инженерную перспективу, превращая трансляционные исследования HERL в функционирующие в реальных устройствах технологии. Вместе HERL и ATDev демонстрируют, как академическое лидерство и технические инновации могут объединиться для создания мобильных решений, которые являются как революционными, так и глубоко настроенными на жизненный опыт пользователей. В дополнение к интеграции передового искусственного интеллекта, подход HERL глубоко коллаборативен, вовлекая пользователей инвалидных колясок, клиницистов и группы защиты прав на протяжении всего процесса проектирования. Эта методология участия обеспечивает, чтобы технологии отвечали реальным потребностям, а не только гипотетическим. Национальный консорциум, стоящий за RAMMP, включает таких партнеров, как Kinova Robotics, LUCI Mobility, ATDev и академических лидеров из Carnegie Mellon, Cornell, Northeastern и Purdue. «С помощью RAMMP ARPA-H стремится создать будущее, в котором американцы с ограниченной мобильностью смогут легче жить независимо, работать и наслаждаться досугом, используя передовые робототехнические решения», - сказал Мансур Хан, менеджер программы ARPA-H. «Модели ИИ от Meta являются критически важной технологией, позволяющей платформе робототехники 'видеть'. Эти модели помогают роботу понимать сцену, ориентироваться в мире и подбирать правильные объекты, значительно снижая когнитивную нагрузку на пользователя и увеличивая независимость». Кроме того, RAMMP нацелена на создание новых возможностей для рабочей силы и производства в Питтсбурге и по всему Пенсильвании, способствуя развитию передовых мобильных решений и внутреннему производству. «То, что команда RAMMP строит с помощью ARPA-H, - это взгляд на то, как выглядит американская инновация в области здравоохранения, когда мы перестаем принимать статус-кво», - сказала доктор Алисия Джексон, директор ARPA-H. «Миллионы американцев с ограниченной мобильностью заслуживают технологий, которые соответствуют их потребностям, а не технологий, которые заставляют их адаптироваться. Партнерство с мировыми лидерами инноваций, такими как Meta, для внедрения передового ИИ в вспомогательную робототехнику - это то, как мы можем сделать это быстрее, чем кто-либо мог подумать». Взглянув вперед, команда RAMMP продолжит продвигать интеграцию моделей восприятия следующего поколения, включая SAM 3.1 и DINOv3, для дальнейшего улучшения понимания окружающей среды в реальном времени и взаимодействия. Будущая работа сосредоточится на укреплении временной согласованности, надежности в различных реальных условиях и более тесной интеграции с системами принятия решений и контроля. Объединив эти достижения, RAMMP стремится к созданию вспомогательных систем, которые не только точно воспринимают свою среду, но и адаптируются с течением времени к уникальным потребностям, поведению и контексту каждого пользователя. Следующее поколение вспомогательной робототехники будет не только перемещать людей, но и приближать общество к миру, где каждый, независимо от способностей, может полностью и независимо участвовать. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.