По сообщению TechCrunch, несмотря на миллиарды долларов инвестиций и множество видео, роботы все еще не могут эффективно поднимать предметы. Однако ситуация может измениться благодаря архитектуре манипуляции, разработанной компанией Eka Robotics, которая включает чувствительный к силе захват и новый тип модели глубокого обучения. Стартап, основанный профессором MIT Пулкитом Агравалом и бывшим исследователем Google DeepMind Туомасом Хаарноя, недавно завершил раунд финансирования Series A на сумму $150 миллионов, что оценило компанию в $1,45 миллиарда после финансирования, под руководством венчурных фондов a16z и F-Prime. «Они уже превышают суперчеловеческие показатели в определенных задачах, и мы считаем, что в ближайшие месяцы они достигнут суперчеловеческой производительности во многих задачах ловкой манипуляции», — заявил Рагху Рагурам, партнер a16z, который совместно возглавил раунд финансирования. В эпоху бесконечных демонстраций роботов возможности Eka шокируют опытных строителей роботов. Крис Хаузер, профессор Университета Иллинойс в Урбана-Шампейн, отметил, что у Eka есть «фактор вау» по сравнению с другими демонстрациями роботов, которые он видел недавно. Робот Eka «смог адаптироваться к большому количеству различных объектов без повторного обучения», добавил Хаузер, подчеркивая, что у него также есть аспект «человечности, жуткой человечности, когда он пытался снова и снова, если не удавалось с первого раза». Другой робототехник, который пожелал остаться анонимным из-за своей работы в передовой лаборатории, сообщил TechCrunch, что наблюдение за работой робота Eka стало эмоциональным опытом, сравнимым с тем, когда роботы впервые достигли надежной локомоции на ногах пять-десять лет назад. Что примечательно? Как плавно и быстро движется робот. Он может поднимать около 1500 объектов весом до 1 кг за час, по сравнению с примерно 600 для человека; Eka утверждает, что он надежно поднимает объекты более чем в 95% случаев. А рука робота достаточно сильна, чтобы повредить себя при таком быстром движении. Это указывает, по словам наблюдателя из передовой лаборатории, на то, что «у них есть большая доверие к своему алгоритму, который не сломает робота. Интересно, сколько роботов они сломали на этом пути?» Когда робототехник из передовой лаборатории встретил робота Eka, он передал ему малину, которая, похоже, является любимым тестовым предметом лаборатории. «Опыт того, как большой тяжелый робот мчится к моей руке, а затем замедляется как раз вовремя и очень осторожно касается меня, — это чувство, которое я, как мы говорим, несу в своем теле», — сказал он TechCrunch. Эти способности являются следствием того, как была построена основная модель. Вместо модели «зрение-язык-действие», которая обучена понимать взаимосвязь между языком, визуальными входами и действиями, здесь используется модель «зрение-сила-действие», которая фокусируется на взаимосвязи между языком, силовыми входами и действиями. Критики текущего направления генеративных ИИ моделей для робототехники, такие как Родни Брукс, утверждают, что они потерпят неудачу без попытки представить силу и тактильные ощущения; результаты Eka подтверждают правоту таких критиков. «Зрение не является основным способом, с помощью которого вы закрываете эту последнюю миллиметровую проблему», — сказал соучредитель Eka Агравал. «Зрение показывает вам, где примерно находится объект, какова его поза, но фактическое захватывание, фактический поиск происходит через силы. Компания Eka должна была разработать уникальную роботизированную руку, которая была более гибкой, чем традиционные захваты, и включала больше сенсоров силы; она реагирует на контакт, что и позволяет не раздавить малину. Основатели осторожны в отношении того, как они этого добились, по очевидным конкурентным причинам, но это сводится к использованию физического симулятора для моделирования множества сил, с которыми робот столкнется, пытаясь что-то схватить, и использованию этого для создания среды обучения с подкреплением, которую можно запускать в масштабе. Они утверждают, что могут генерировать тысячи часов опыта робота за считанные минуты. «Вместо того чтобы ограничиваться данными, которые вы собираете, скажем, из человеческих демонстраций, Eka продвигает этот подход через обучение с подкреплением, где робот может превзойти любые демонстрации, которые ему даны», — сказал Хаузер. «Что действительно захватывающе, так это то, что они могут не ограничиваться данными, представленными им для обучения. Агравал и Хаарноя, которые впервые встретились в аспирантуре в Университете Калифорнии в Беркли, являются ведущими исследователями в области обучения с подкреплением для управления роботами. Ключевая ставка Eka заключалась в том, что эта техника может быть реализована в масштабе через симуляцию, а не полагаться на видео, собранные рабочими или операторами роботов, выполняющими задачи в течение многих часов. Симуляция была ключом к достижению надежной манипуляции робота, что в прошлом оказалось более сложной задачей для задач, требующих взаимодействия с объектами, а не их избегания. «То, что EKA преодолевает, — это разрыв между универсальностью и производительностью, который преследует многие современные робототехники», — утверждает Агравал. Сделать универсального робота полезным. На данный момент самые универсальные физические модели ИИ — те, которые могут пытаться выполнять множество различных задач — не очень хороши в этом. Но модели ИИ, обученные быть высокоэффективными в одной задаче, могут не закрыть бизнес-кейс для компании: обещание генеративного ИИ заключается в том, что роботы могут быстро изучать множество задач, даже новые. Текущие подходы хороши для создания роботов, которые более универсальны, чем когда-либо прежде — Astra, последняя LLM ChatGPT, может управлять роботом в незнакомой обстановке и выполнять с ним задачи, но медленно и с высокой стоимостью. Обещание модели, подобной модели Eka, заключается в том, что она обрабатывает физику, в то время как более универсальная модель принимает решения о том, как решить проблему. Astra, например, может знать, что тарелки складываются в шкаф, когда они выходят из посудомоечной машины, но модель Eka способна поднять тарелку, не разбив ее. «Большинство в этой области сосредоточены на планировании», — говорит соучредитель Eka Хаарноя, — «поэтому они подходят сверху: высокоуровневая интеллигенция, продвигающаяся вниз к физическому. В то время как мы думаем об этом снизу вверх. Eka все еще нужно доказать свою состоятельность в реальных условиях. Компания работает в секретных пилотах с рядом промышленных клиентов, занимающихся подбором и размещением, а также манипуляцией проводами, но переход от лаборатории к производственной линии почти так же сложен, как разрыв между симуляцией и реальностью. «Большой проблемой будет работа с интеграторами на реальных сборочных линиях, и это должно работать без сбоев в течение целого года», — сказал Хаузер. Другой открытый вопрос заключается в том, «насколько универсальны эти техники для различных задач?» То, что я видел, — это подбор и размещение, но многие отраслевые задачи, которые добавляют ценность, требуют больше, чем просто подбор и размещение. Агравал также сосредоточен на возможности развертывания; на данный момент, по его словам, захватное оборудование Eka — которое стоит менее $1000 — рассчитано на 5 миллионов циклов работы, но конечная цель — достичь уровня в 20 миллионов циклов, установленного для стандартных промышленных рук. «То, что мы строим, — это инженерия того, как проектировать целые рабочие процессы, но мы начинаем с очень прагматичного подхода, говоря, вот два вертикала в подборе, размещении и обработке проводов, давайте сделаем их успешными», — сказал Агравал. «Как только мы добьемся успеха в этих областях, небо — это предел для того, что мы можем сделать с подходом, который мы разрабатываем. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.