LegoGPT: Искусственный Интеллект превращает текстовые подсказки в творения из Lego

Исследователи из Университета Карнеги-Меллона представили LegoGPT, новую систему искусственного интеллекта, которая создает реальные конструкции из Lego по письменным описаниям.

Это первый в своем роде AI, который не только следует текстовому указанию, например «обтекаемое, удлиненное судно», но и гарантирует, что получившаяся конструкция будет физически стабильной и может быть построена, кирпич за кирпичом.

«Для достижения этого мы создаем масштабный, физически стабильный набор данных LEGO-дизайнов, вместе с соответствующими подписями,» — объяснила команда в своем научном труде.

LegoGPT был обучен на более чем 47 000 стабильных моделях Lego, сопоставленных с подробными подписями, сгенерированными с помощью GPT-4o. Они были построены из 3D-форм, преобразованных в структуры Lego, затем проверены на реальную устойчивость с использованием физических симуляций.

Каждая структура также была описана с 24 разных ракурсов, чтобы AI мог научиться понимать, как должны выглядеть различные дизайны в словах.

Команда использовала специальную технику, названную «физически-осведомлённым откатом», где нестабильные части дизайна удаляются и перестраиваются до тех пор, пока вся структура не станет устойчивой. Это позволило увеличить успешность построения структур с 24% до 98.8%.

Модель ИИ, основанная на LLaMA-3.2-Instruct от Meta, предсказывает, какой кирпичик Lego следует положить далее — подобно тому, как ChatGPT предсказывает следующее слово. Каждый предложенный кирпичик проверяется на место установки, размер и потенциальные столкновения перед добавлением в модель.

Творения LegoGPT могут быть построены как людьми, так и роботами. «Наши эксперименты показывают, что LegoGPT создает стабильные, разнообразные и эстетически приятные дизайны Lego, которые тесно соответствуют входным текстовым запросам,» — написали исследователи.

На данный момент LegoGPT использует всего восемь основных типов кирпичиков и работает в пределах пространства 20×20×20, но команда надеется на его расширение.

Их полный набор данных, код и модель можно бесплатно просмотреть, чтобы другие могли продолжать работу над этим исследованием. Или же вы можете просто поиграть с их демо-версией.