텍스트 설명으로 실제 조립 가능한 레고 디자인 생성하는 AI '레고GPT'

핵심 기술: 카네기멜론대학교 연구진이 개발한 '레고GPT'는 사용자의 텍스트 설명을 물리적으로 안정적이며 실제로 조립 가능한 레고 구조물 디자인으로 변환하는 오픈소스 AI 모델입니다.

기술적 세부사항:
* 텍스트-디자인 변환: "유선형의 길쭉한 배"와 같은 자연어 설명을 해석하여 레고 설계를 생성합니다.
* 물리적 안정성 검증: 생성된 디자인은 중력 및 구조적 안정성을 시뮬레이션하는 '유효성 검사'를 거쳐 무너지지 않도록 보장합니다.
* 물리 기반 롤백: 구조적 결함 발생 시 해당 브릭을 제거하고 대체 경로로 재설계하는 '물리 기반 롤백' 기법을 적용하여 겹침이나 공중 부양을 방지합니다.
* 모델 기반: 메타의 '라마-3.2-1B-인스트럭트' 모델을 기반으로 '다음에 놓일 레고 브릭'을 예측하는 방식으로 미세 조정된 자기회귀 모델(Autoregressive Model)입니다.
* 데이터셋: OpenAI GPT-4o가 생성한 설명 문구와 47,000개 이상의 안정적인 레고 구조물로 구성된 자체 데이터셋 '스테이블텍스트2레고(StableText2Lego)'를 학습에 활용했습니다.
* 설계 방식: 텍스트 입력을 레고 설계도로 변환 후, 하단부터 상단 순서로 토큰화하고 브릭에 주석을 추가하여 텍스트와 구조 간의 관계를 학습하도록 설계했습니다.
* 제약 조건 및 기능: 20x20x20 빌딩 공간, 8가지 표준 브릭 사용, 외형 및 색상 반영 (예: "금속성 보라색 전기 기타").
* 실증: AI 생성 구조물을 로봇 팔과 사람 손으로 실제 조립하여 유효성을 검증했습니다.
* 사용자 경험 강화: 보유한 레고 브릭을 사진 촬영하여 이를 기반으로 한 설계안을 추천하는 기능도 제공합니다.

개발 임팩트: 텍스트 설명만으로 복잡하고 실제 조립 가능한 물리적 객체를 생성하는 AI 기술의 가능성을 보여주며, 디자인 자동화, 교육용 도구, 로봇을 활용한 제조 등 다양한 분야에 응용될 수 있습니다. 특히 실제 조립 가능성에 대한 검증과 로봇 조립 시연은 기술의 실용성을 강조합니다.

커뮤니티 반응: 레고GPT 관련 연구 결과와 코드, 모델, 데이터셋이 깃허브와 프로젝트 웹사이트를 통해 공개되어 개발자들이 해당 기술을 기반으로 추가적인 실험을 이어갈 수 있도록 하고 있습니다.