Safeworld разрабатывает решения для безопасности генерирующих ИИ роботов

Как пишет TechCrunch, основная тенденция в робототехнике заключается в передаче управления роботами генеративным моделям ИИ, но это создает проблему: такая архитектура непредсказуема в отличие от традиционных алгоритмов. Как можно быть уверенным, что новый гуманоидный робот будет безопасен? Доктор Динг Чжао, руководитель лаборатории безопасного ИИ в Университете Карнеги-Меллон, работает над этой проблемой почти всю свою карьеру. Теперь, вместе с опытным руководителем стартапов Кайлом Вонгом и инженером по машинному обучению Симой Рачиди, он основал компанию Safeworld, целью которой является решение этой задачи. «Проблема безопасности, о которой мы говорим, заключается в сочетании двух факторов: во-первых, действительно продвинутые вероятностные оценки генеративного ИИ — как оценить риск вероятностной системы?» — говорит Чжао. «Вторая часть, которая действительно сложна, — это доверие, и для развертывания робота нужно учитывать оба аспекта». Safeworld выходит из режима скрытого стартапа с раундом финансирования на сумму более 12 миллионов долларов, который возглавили Shine Capital и a16z Speedrun, с дополнительными инвестициями от Box Group, Фонда Университета Карнеги-Меллон, Innovation Endeavors и SV Angel. «Время для создания отраслевого стандарта безопасности — сейчас, пока роботы проектируются и развертываются», — сказал партнер a16z Speedrun Джонатан Лай в интервью TechCrunch. «К тому времени, когда у вас будут роботы в домах, сталкивающиеся с детьми и вызывающие инциденты, будет слишком поздно». Специализация Safeworld заключается в оценке систем управления роботами в симуляциях, в которых используются реалистичные модели людей. Это похоже на задачу, с которой сталкиваются компании, такие как Tesla или Wayve, которые должны гарантировать, что их автомобили адекватно реагируют на различные неожиданные инциденты, которые могут произойти на дороге. Но, как утверждает Чжао, это будет сложнее для роботов, поскольку они работают в неструктурированных средах, и каждая установка будет иметь разные стандарты безопасности. «Одной из самых распространенных проблем является наличие слепого угла в конкретном заводе», — отметил Вонг. «Какова скорость или расстояние торможения, чтобы гарантировать, что этот робот не столкнется с конкретным человеком? Если человек несет коробки, например, сможет ли робот обнаружить его или нет?» Чтобы ответить на этот вопрос, Safeworld создаст цифровую версию этого угла в модели, такой как Genesis или MuJoCo, вставит симуляцию оцениваемого робота, управляемую его реальным программным обеспечением, и затем запустит тысячи сценариев, где модели людей сталкиваются с роботом. Это сложнее, чем кажется, по словам Чжао, поскольку люди непредсказуемы. «Споткнуться и упасть — это тоже хороший пример того, с чем мы много тестируем в симуляции», — добавил Вонг. «В противном случае вам придется споткнуться и упасть перед роботом, что довольно сложно делать постоянно». Существует определенное сходство между платформой, которую строит Safeworld, и инструментами, которые используются внутри компаний-производителей роботов. Однако основатели считают, что, помимо их специфической экспертизы, производители роботов захотят третью сторону для валидации своей работы, хотя бы для обмена информацией о случаях безопасности между конкурентами. «Многие недооценивают, насколько сложными будут некоторые из этих крайних случаев», — заявил Чжао. «Нас беспокоит не робот в вакууме, в демонстрации, а робот, который развернут в масштабе, с людьми, которые, возможно, никогда не управляли роботом раньше». Вишал Дугар, технический директор компании Gritt Robotics, разрабатывает ИИ-ум для роботов, которые в настоящее время помогают работникам устанавливать солнечные панели на промышленных солнечных фермах и стремятся взять на себя более сложные строительные задачи. Его компания сотрудничает с Safeworld в разработке своих симуляций безопасности. «Сложность большинства наших систем заключается в том, что очень трудно формально доказать это, используя математику, написание уравнений и утверждение, что да, система проверена на безопасность», — говорит Дугар. «Это необходимо делать эмпирически». Его роботы работают рядом с человеческими работниками, и обеспечение того, чтобы их манипулятор не ударил их, очевидно, является важным аспектом. Проверка этого на практике потребует учета всех возможных сценариев. «У людей много разных внешностей», — подчеркивает Дугар. «Их тела могут находиться в различных конфигурациях. Они могут быть на коленях, стоять, спотыкаться и падать, наклоняться или бегать. Вам нужно реагировать на все эти поведения, которые люди могут потенциально проявлять на этих площадках, вместе с разнообразием вариаций человеческой внешности, вы знаете, одеждой, размером, формой, ростом, цветом кожи и всем остальным». Для Safeworld и генеративного ИИ в робототехнике это все еще ранние дни, и компания все еще определяет лучший модель для своего продукта — платформу для внешних пользователей или подход на основе услуг? — но команда уверена, что они занимаются правильной проблемой. «Мы, вероятно, будем первой прибыльной компанией в этой области», — говорит Чжао. «Потому что если кто-то хочет развернуть, им нужно будет заплатить нам за решение этой проблемы». Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.