KAIST, 창작자 중심 AI 작곡 시스템 ‘어뮤즈’ 개발
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
인공지능, 머신러닝
대상자
음악 창작자, AI 개발자, 음악 기술 연구자
핵심 요약
- 어뮤즈(Amuse)는 창작자의 주도권을 존중하며 AI와 협업하는 창작 동반자(Co-Creative AI)로 설계된 AI 기반 음악 창작 지원 시스템이다.
- 대형언어모델(LLM)과 음악 데이터 학습 AI 모델을 결합한 하이브리드 생성 방식을 사용하여 창의적인 음악 작곡을 지원한다.
- 리젝션 샘플링을 통해 부자연스러운 결과를 제거하고, 사용자가 AI의 제안을 유연하게 통합·수정할 수 있는 상호작용 방식을 도입하였다.
섹션별 세부 요약
- 연구 개요 및 성과
- KAIST 이성주 교수 연구팀이 개발한 어뮤즈는 ACM CHI에서 최우수 논문상을 수상한 AI 기반 음악 창작 지원 시스템이다.
- 2023년 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 ACM CHI 국제학술대회에서 상위 1% 논문에 선정됨.
- 음악 창작을 지원하는 AI 시스템으로, 텍스트, 이미지, 오디오 등 다양한 형식의 리소스 입력을 지원한다.
- 핵심 기술 및 차별점
- LLM을 기반으로 사용자 입력에 맞는 화성 구조(코드 진행) 생성, 음악 데이터 학습 AI 모델을 통한 리젝션 샘플링을 통합한 하이브리드 생성 방식을 사용.
- 기존 생성 AI와 달리 사용자의 창작 흐름 존중하며, AI 제안을 유연하게 통합 및 수정할 수 있는 상호작용 방식 제공.
- 실제 뮤지션 대상 사용자 연구를 통해 창작 동반자(Co-Creative AI)로서의 가능성이 높다고 평가받음.
- 연구 참여자 및 지원
- KAIST 전기 및 전자공학부 박사과정 김예원, 이성주 교수, 카네기 멜론 대학 크리스 도너휴 교수가 공동 연구자로 참여.
- 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행됨.
결론
- 어뮤즈는 창작자의 주도권을 유지하며 AI와 협업 가능한 창작 도구로서의 가능성을 보여주는 시도이며, 향후 음악 창작 도구와 생성 AI 시스템 개발에 창작자 친화적인 방향을 제시한다.
- AI 기술을 음악 창작에 적용하는 데 있어서 사용자 중심의 상호작용 방식이 핵심이며, 하이브리드 생성 방식이 실제 창작 과정에 유용하게 활용될 수 있음.
- 음악 창작자와 AI 개발자 모두에게 실질적인 도움을 줄 수 있는 시스템으로, 음악 기술 연구자에게 중요한 기초 자료로 활용될 수 있음.