MIT рассказывает, что инженеры университета разработали обучающую платформу на основе искусственного интеллекта, которая помогает роботам извлекать из речи человека более широкий смысл, чем прямо сказано в команде. Люди от природы интуитивны и умеют улавливать значение, выходящее за рамки буквальных слов. Исследование, которое в этом месяце представят на ежегодной конференции по обучению роботов, подготовили специалисты MIT и Нью-Йоркского университета. Они описали FLEX, гибкий конвейер редактирования признаков для планирования движения роботов. С помощью FLEX человек может общаться с роботом, давая инструкции на естественном разговорном языке. Робот способен не только выполнять указания буквально, но и делать более широкие обобщения, которые помогают улучшить планирование движения. Команда продемонстрировала FLEX в нескольких смоделированных сценариях, в том числе в одном, где робот подаёт чашку кофе. В виртуальных сценариях человек печатает команды, а роботизированная рука переносит чашку по заставленному столу. Если человек напишет «Не пролей на ноутбук!», робот рассудит, почему следует обходить ноутбук. Для этого FLEX использует большую языковую модель (LLM), тип системы ИИ, которая обучается на огромных массивах текстов, включая публикации в соцсетях, расшифровки видео и веб-контент. Модель выявляет общие тенденции, закономерности и обобщения. Нэйтан Деннлер, постдок лаборатории информатики и искусственного интеллекта MIT (CSAIL) и соавтор исследования, объясняет: «Языковые модели видели огромное количество текстов из интернета. Люди пишут, что телефон упал в воду и перестал работать, или что они пролили кофе на компьютер и он сломался. Поэтому модели усваивают идею: жидкость плюс техника равно поломка». Благодаря этой модели робот приходит к выводу, что стоит избегать и всей остальной электроники. В обновлённой траектории он обходит и ноутбук, и стоящий рядом телефон, хотя человек прямо этого не говорил. «Идея в том, что за словами стоит намерение более высокого уровня, — говорит Деннлер. — Люди это понимают естественно. Но роботу это нужно тщательно объяснять, а на это уходят время и силы. FLEX даёт интерфейс общения, в котором можно сказать: когда люди говорят это, они имеют в виду вот это». Исследование возглавила Андреа Бобу, доцент кафедры аэронавтики и астронавтики MIT. Соавторами стали Одри Ли и Илья Сухолуцкий из Нью-Йоркского университета. Бобу руководит лабораторией CLEAR, где группа разрабатывает автономных агентов, которые учатся работать для людей, вместе с ними и рядом с ними. Она занимается вспомогательными и бытовыми роботами, способными выполнять физические задачи, рассуждать и адаптироваться в реальном времени в ответ на естественные разговорные команды. По словам Деннлера, роботы используют математику для планирования траекторий, но нельзя ожидать, что обычный пользователь станет осваивать эту математику, чтобы отдавать роботу указания. Цель в том, чтобы взаимодействовать с роботом на естественном языке, а не заставлять людей учиться пользоваться им определённым образом. В робототехническом сообществе активно развиваются подходы, в которых язык помогает уточнить цель задачи, изменить траекторию робота или обновить его представление о безопасном пути. Однако существующие методы используют язык лишь для того, чтобы описать физические действия. Бобу и её коллеги расширяют то, что роботы могут извлекать из команд. В новой работе они научили робота интерпретировать скрытое, невысказанное предпочтение человека по ограниченным голосовым или текстовым командам. Новая платформа FLEX состоит из трёх шагов, которые помогают роботу вычитывать из команды больше, чем сказано прямо. Первый шаг, «Добавление», велит роботу внести в список значимых для задачи объектов в окружении новый признак на основе команды пользователя. Например, пока робот перемещает боулинговый шар, человек может вмешаться фразой «Не урони его на мою кружку!». Тогда робот добавит кружку в список объектов, которых следует избегать. Так работали и предыдущие методы: при каждой поправке робот пополнял список признаков и корректировал траекторию. Проблема в том, что список становится очень длинным, а часть признаков со временем теряет актуальность, потому что окружение изменилось. Деннлер отмечает, что такой подход утомителен, если человеку приходится перечислять каждый объект, который нужно обходить. Второй шаг, «Обобщение», и есть новое решение FLEX. На этом этапе подключается языковая модель, в данном случае GPT-4o, которая рассматривает кружку и все остальные признаки, указанные человеком. Модель автоматически ищет в своём большом массиве данных закономерности и связи между этими объектами и в итоге делает обобщение: следует избегать хрупких предметов, даже если человек прямо об этом не говорил. «Языковые модели видели огромное количество текстов от самых разных людей из разных мест, — говорит Деннлер. — Поскольку они так много обучались на этом, часть здравого смысла усвоилась моделью». Третий шаг, «Маскирование», позволяет стандартной системе компьютерного зрения робота оценить окружение, определить, какие объекты исчезли, и удалить их из списка признаков. Весь трёхшаговый процесс занимает около пяти секунд. Команда протестировала FLEX в симуляциях роботизированной руки, которая выполняла три задачи: подавала чашку кофе, переносила свечу и несла боулинговый шар. Во всех трёх сценариях добровольцы печатали команды виртуальному роботу, например «Не пролей на мой ноутбук», «Держись подальше от стопки бумаги» и «Не урони на кружку». С FLEX робот выполнял все три команды буквально и, кроме того, на более высоком уровне рассуждал: не проливать жидкость на электронику, держаться подальше от легковоспламеняющихся предметов и не ронять груз на хрупкие вещи. «У каждого дом устроен по-своему, и каждому важны разные вещи, поэтому ни один робот не знает из коробки, что важно именно вам, — говорит Бобу. — Меня в FLEX вдохновляет то, что он может уловить это из одного-двух предложений, а не требовать расписать каждое правило. Именно это отличает робота, с которым люди мирятся, от робота, которого им действительно хочется видеть дома». Работа частично поддержана программой MIT Generative AI Impact Consortium и программой Social and Ethical Responsibilities of Computing колледжа вычислительной техники имени Шварцмана MIT. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.