Исследователи представили LegoGPT — нейросеть, которая генерирует схемы сборки моделей из деталей Lego

Исследователи Университета Карнеги — Меллона представили ^[1] нейросеть LegoGPT, которая генерирует схемы сборки моделей из деталей Lego. Код проекта открыт, а на Hugging Face есть бесплатное демо.

На вход нейросеть получает текстовое описание модели из деталей конструктора Lego. По этим данным система генерирует три файла:

• output.png — изображение модели в сборе.

• output.txt — пошаговую схему сборки в текстовом формате.

1x2 (16,17,0)
1x1 (16,13,0)
2x2 (0,17,0)
2x1 (0,13,0)
1x1 (17,18,1)
1x6 (17,12,1)
2x6 (15,12,1)
1x6 (14,12,1)
8x1 (9,18,1)
1x1 (8,18,1)
6x2 (8,16,1)
6x2 (8,14,1)
6x2 (8,12,1)
6x2 (2,16,1)
6x2 (2,14,1)
6x2 (2,12,1)
8x1 (0,18,1)
2x6 (0,12,1)
2x6 (16,13,2)
2x1 (16,12,2)
1x1 (15,18,2)
2x6 (14,12,2)
1x6 (13,12,2)
2x6 (11,12,2)
6x1 (9,18,2)
2x6 (9,12,2)
2x6 (7,13,2)
2x6 (5,13,2)
4x1 (5,12,2)
1x1 (4,18,2)
2x6 (3,12,2)
2x1 (2,18,2)
2x6 (1,12,2)
2x1 (0,18,2)
1x6 (0,12,2)
1x6 (17,12,3)
2x1 (16,18,3)
1x1 (16,17,3)
1x2 (15,17,3)
2x4 (15,13,3)
2x1 (15,12,3)
2x1 (13,18,3)
8x1 (5,18,3)
1x1 (4,18,3)
2x1 (2,18,3)
2x6 (0,13,3)
2x1 (0,12,3)
1x1 (17,18,4)
2x6 (16,12,4)
1x2 (15,17,4)
6x2 (9,18,4)
1x2 (8,18,4)
6x2 (2,18,4)
2x1 (0,18,4)
2x6 (0,12,4)
2x1 (16,16,5)
2x4 (16,12,5)
6x2 (12,17,5)
8x1 (9,19,5)
1x1 (8,19,5)
6x2 (6,17,5)
8x1 (0,19,5)
6x2 (0,17,5)
2x1 (0,16,5)
2x4 (0,12,5)
1x2 (17,18,6)
2x1 (16,17,6)
4x2 (13,18,6)
6x2 (7,18,6)
1x2 (6,18,6)
6x2 (0,18,6)
2x1 (0,17,6)
1x2 (16,18,7)
2x2 (14,18,7)
6x2 (8,18,7)
6x2 (2,18,7)
2x2 (0,18,7)

• output.ldr — схему в формате LDraw, который используют в программах Lego CAD.

Исследователи отмечают, что нейросеть генерирует устойчивые модели, в которых детали прикреплены друг к другу. Также в репозитории есть код для системы текстурирования моделей. Авторы проекта подчёркивают, что LegoGPT — дообученнная версия Llama-3.2-1B-Instruct.

На чём обучали LegoGPT 

В качестве датасета использовали данные из набора ShapeNetCore ^[2]. На основе каждой трёхмерной модели исследователи создали фигурки из деталей Lego в разных стилях, сохраняя общую форму. После этого модели проверили на целостность с помощью Gurobi, чтобы не было блоков, которые ни за что не держатся. На основе каждой модели создали кадры с 24 ракурсов и сгенерировали подробные описания с помощью GPT-4o от OpenAI.

Всего в датасете 47 тыс. фигур из деталей Lego, созданных на основе 28 тыс. 3D-моделей. Все модели вписываются в область 20 × 20 × 20 единичных кирпичиков конструктора. Также исследователи отмечают, что обучали нейросеть на объектах из 21 категории, включая мебель, автомобили, музыкальные инструменты, корабли и предметы интерьера. Поэтому нейросеть не может генерировать предметы других типов.

Как получить доступ

Код LegoGPT опубликован ^[3] в открытом GitHub-репозитории. На портале Hugging Face доступно ^[4] бесплатное демо. В нём нет функции текстурирования фигур и экспорта в формате LDraw. Также исследователи поделились ^[5] датасетом, на котором обучали нейросеть. В репозитории есть инструкции по локальному запуску и файн-тюнингу LegoGPT.