卡内基梅隆大学计算机科学学院的研究人员创建的一种新型人工智能工具可能会改变我们制造和建造事物的方式。

BrickGPT使用文本提示帮助人们(甚至机器人)用乐高积木将想法变为现实。它只需一个简单的单词，例如“吉他”，就能为人类或机器人创建一个逐块积木的指南，帮助他们搭建该物体的物理稳定模型。该工具目前专注于使用乐高积木进行搭建，但将文本提示转化为物理稳定的东西，其用途远不止于玩乐。

卡内基梅隆大学机器人研究所 (RI) 计算机科学与机器人学助理教授朱俊彦 (Jun-Yan Zhu) 表示： “这项研究为生成制造铺平了道路，即人们可以使用生成模型来设计自己可以制造的日常物品。”

“他们可以搭建一把椅子、一张沙发或一个儿童玩具。这是一个新的领域，是这些模型除了制作社交媒体视频或照片之外的新用途。这些积木玩具是一种简单的媒介，也是一个起点。”

研究人员表示，人工智能和机器人技术的融合可以加快设计和建造新事物的进程。

“这可能对制造业带来巨大的益处，”RI副教授刘昌流说道。“将创意转化为实体设计和原型需要很长时间。但如果能将生成式人工智能融入到这个过程中，就能显著提高效率，减少项目启动的障碍。”

目前，BrickGPT 演示版可以为人类或机器人提供分步指南，指导他们用乐高积木搭建 21 种模型，包括鸟舍、沙发和钢琴。如果有人想制作沙发，只需在 BrickGPT 中输入“沙发”，即可生成 3D 模型。然后，算法会将 3D 模型转换为砖块结构，并由 BrickGPT 检查以确保结构稳定。人类或机械臂可以按照步骤搭建沙发。

为了训练 BrickGPT，研究人员生成了 StableText2Brick 数据集，其中包含 47,000 多个由 28,000 多个独特 3D 物体组成的砖块结构，并配有详细的说明。研究人员利用现有的 3D 形状数据集 ShapeNetCore，将这些形状转换为由小立方体组成的网格，该过程在研究中被称为体素化。然后，他们训练了一个自回归大型语言模型 (LLM)，该模型可以根据先前的值预测未来的值。

例如，在 BrickGPT 中，LLM 会根据上一块砖预测下一块砖，确保结构稳定，不会倒塌。如果过程中出现错误，BrickGPT 会回溯并消除不稳定点，以保证结构的稳定性。

除了刘和朱之外，SCS 研究团队还包括计算机科学系博士生 Ava Pun、研究院博士生 Kangle Deng 和 Ruixuan Liu，以及研究院教授 Deva Ramanan。

“如果结构不稳定，就会有一个回滚过程，”Pun 说道。“在这个步骤中，模型会判断哪些砖块是错误的或不稳定的，然后我们会回滚到之前的点。我们利用物理推理算法检测不稳定性，该算法会为结构中的每块砖块生成一个稳定性分数。如果分数足够高，就意味着这块砖块是稳定的。”

研究人员希望扩大该模型的规模，使其能够生成超过目前的21个对象。他们还希望扩大库元素的多样性，以提高生成设计的准确性和复杂性。