По сообщению MIT, принцип "что видишь, то и получаешь" является основополагающим для многих программистов — создавать программы, где редактируемый контент выглядит так же, как и конечный продукт. Однако, когда вы используете генеративные системы искусственного интеллекта для 3D-печати, например, кружки, вы, скорее всего, получите чашку, которая не может удерживать кофе. В чем причина? Проблема в том, что модели ИИ понимают, как должен выглядеть объект, но не как он функционирует, что приводит к нецелесообразным дизайнам, которые подрывают предполагаемое использование предмета. Даже если вы хотите исправить эти ошибки, редактировать модели обычно сложно, особенно для пользователей, не знакомых с 3D-дизайном. Новый подход под названием "InstructMesh" значительно упрощает процесс проектирования и печати предметов для дома, аксессуаров и роботов, которые работают в реальном мире. Программное обеспечение для проектирования, разработанное исследователями из Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL), Google и Северо-восточного университета, может быть использовано для генерации 3D-дизайна, например, пары очков, после чего пользователи могут выделить конкретные части чертежа, которые они хотели бы уточнить перед 3D-печатью. Это интерфейс на основе ИИ, который понимает, как должны выглядеть эти дизайны и какие изменения хотят внести как эксперты, так и новички, помогая им создавать объекты, которые они действительно хотят видеть. Исследователи CSAIL использовали InstructMesh, чтобы придать персонализированный, креативный вид обычным предметам. Например, инструмент создал кружку, которая выглядит так, будто её обвивает дракон, с хвостом в качестве ручки. Он также изготовил блестящий синий свисток, напоминающий раковину, и пару очков с крыльями бабочки, расправляющимися прямо над линзами. Став ещё более креативными, они сделали диспенсер в форме осьминога, из щупалец которого текут жидкости, распределяющиеся по нескольким чашкам одновременно. Что делает InstructMesh таким умелым в выполнении уникальных запросов? Он сочетает систему TRELLIS от Microsoft, которая создает 3D-модели на основе текстовых и графических подсказок, с большой языковой моделью (LLM) GPT-4, поддерживающей ChatGPT — другими словами, визуальные и текстовые знания объединены. "Мы хотели объединить таланты 3D-генераторов и навыки рассуждения LLM в интерактивном пространстве, чтобы создавать объекты, которые людям действительно нужны", — говорит Фараз Фаруки, главный автор статьи, представившей проект, выпускник кафедры электротехники и компьютерных наук, а также недавний сотрудник CSAIL. Сильные стороны InstructMesh также проявляются в других, более неожиданных областях. Ученые MIT использовали программу для изготовления наколенника, который выглядит как джинсовая ткань, чтобы соответствовать джинсам пациента. InstructMesh может даже помочь в создании роботов — то есть умных корпусов, содержащих беспроводные компоненты. Исследователи создали "щетинистого робота", напоминающего яркую креветку, чтобы продемонстрировать это. Внутри него скрыт мотор, и при включении он может скользить по поверхности, как заводная игрушка. Фаруки и его коллеги обнаружили, что InstructMesh легко создает желаемые предметы. Но что подумает человек, который никогда не моделировал в 3D? И сможет ли он действительно обнаружить недостатки в дизайне до его изготовления? Команда заставила TRELLIS воссоздать популярные 3D-модели, найденные на платформе Thingiverse, которая является домом для миллионов 3D-печатных моделей, чтобы выяснить это. Почти 80 процентов сгенерированных моделей имели структурные недостатки. Исследователи CSAIL затем попросили новичков выявить и исправить эти проблемы в InstructMesh — и они смогли сделать это примерно в 90 процентах случаев, как подтвердил эксперт. То, чего не хватало этим новичкам в опыте, они компенсировали интуицией. InstructMesh поддерживает сам процесс моделирования, который ранее требовал специфических знаний в инструментах 3D-моделирования. "С манипуляциями, происходящими в латентном пространстве генеративной модели, InstructMesh поддерживает естественное языковое описание проблем и создает интерпретативные изменения в геометрии, которые пользователь может оценить и одобрить", — говорит Фаруки. Пользователи затем создавали предметы, напоминающие подставки для телефонов и вазы, отмечая, что InstructMesh был прост в использовании. Они также обнаружили, что InstructMesh позволил им выразить широкий спектр идей, в то время как ползунки давали им больше точности для внесения определенных изменений, таких как увеличение или экструзия конкретной части модели. "Пользователи получили то, что они запрашивали, и легко корректировали дизайны, где это было необходимо", — добавляет Фаруки. "Что они видели, то и получили, и предметы работали так, как и ожидалось". Хотя пользователям понравилось использовать InstructMesh, Фаруки имеет ещё более грандиозное видение для проекта. Он сейчас работает в Google, где может вскоре интегрировать InstructMesh в платформу дополненной реальности (AR). Идея заключается в том, чтобы задать системе запрос, объяснив, что вам нужно, используя контекст вашего окружения, а затем она быстро 3D напечатает это (например, создавая чехол для телефона, который соответствует вашему кошельку). InstructMesh также может начать включать физические симуляции, чтобы смоделировать, как ваш дизайн может реагировать на конкретные применения, такие как разобьется ли чаша при падении и какие материалы будут работать лучше всего. Программное обеспечение также может интегрировать более новую версию TRELLIS.2, чтобы уточнять ещё более мелкие детали в 3D-моделях. Стефани Мюллер, доцент кафедры электротехники и компьютерных наук (EECS) и механической инженерии MIT, а также член CSAIL, является старшим автором статьи. Фаруки и Мюллер написали статью вместе с исследователями Google Ахмедом Катари, Фабианом Махардтом, Врушанком Паднисом, Руофеем Ду и Федерико Томбари. Другими соавторами стали доцент Северо-восточного университета Меган Хофман, а также несколько коллег из CSAIL: Демирджан Тас, аспирант EECS и архитектуры; бывший исследователь-стажер Тереза Храделак; Нинг Чжан, аспирант EECS; постдок Яджи Ли и Мартин Ниссер. Работа исследователей была частично поддержана Google и Программой совместных исследований MIT-HPI. Они представят её на Симпозиуме по программному обеспечению и технологии пользовательского интерфейса ACM в ноябре. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.