자연어로 레고 설계 가능하게 만든 '레고GPT' 오픈소스 공개
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
인공지능, 머신러닝
대상자
AI 개발자, 레고 관련 엔지니어, 디자인 및 교육 분야 전문가
난이도: 중간 이상 (AI 모델 학습과 시뮬레이션 기술 이해 필요)
핵심 요약
- 레고GPT는 텍스트 입력을 기반으로 유효한 레고 구조물을 설계하는 AI 모델로, 물리적 안정성과 조립 가능성을 보장
- 메타의 라마-3.2-1B-인스트럭트 모델을 기반으로 '다음에 놓일 브릭'을 순차적으로 예측
- 스테이블텍스트2레고 데이터셋을 사용해 물리 시뮬레이션을 통한 구조물 생성 가능
섹션별 세부 요약
- 레고GPT 소개 및 기능
- 텍스트 입력을 바탕으로 레고 구조물을 설계하고, 중력과 구조적 안정성을 고려한 '유효성 검사' 기능 제공
- 구조적 결함 발생 시 '물리 기반 롤백' 기법을 적용해 겹침이나 공중 구조물 방지
- 사용자 경험을 고려한 기능 포함 (예: 보유 브릭 사진 입력 후 맞춤 설계안 제공)
- 모델 기반 및 학습 데이터
- 메타의 라마-3.2-1B-인스트럭트 모델을 기반으로 미세조정
- 오픈AI의 GPT-4o로 생성된 설명과 '스테이블텍스트2레고' 데이터셋을 사용해 학습
- 데이터셋은 물리 시뮬레이션을 거쳐 실제 조립 가능한 구조만 포함
- 설계 방식 및 구현 특징
- 텍스트 입력을 레고 설계도로 변환하고, 하단부터 상단으로 토큰화하여 브릭 배치
- 20x20x20 빌딩 공간 내 8가지 표준 브릭 사용, 위치와 충돌 여부 정밀 계산
- 외형 및 색상 반영 기능 포함 (예: '금속성 보라색 전기 기타' 입력 시 해당 색상 모델 생성)
- 실험 및 검증 결과
- AI 생성 구조물은 로봇 팔과 인간 손으로 모두 조립 가능 확인
- 실제 레고 조립 가능성을 높이기 위한 '물리 기반 롤백' 기법의 효과 검증
- 공개 및 활용 가능성
- 연구 결과, 코드, 모델, 데이터셋은 깃허브와 프로젝트 웹사이트를 통해 공개
- 누구나 AI 기반 레고 설계 실험 가능
결론
레고GPT는 텍스트 입력을 바탕으로 실제 조립 가능한 레고 구조물을 생성하는 AI 모델로, 물리 시뮬레이션과 순차적 브릭 예측 기술을 활용해 설계의 안정성을 높였으며, 누구나 활용 가능한 오픈소스로 제공되어 AI와 레고 설계 분야의 혁신을 이끌 것으로 기대된다.