음악 기반 춤 생성은 음악과 리듬적으로 동기화되고 의미적으로 일관된 인간 움직임을 생성하는 것을 목표로 한다. 최근 신경망 기반 접근법들은 인상적인 시각적 사실성을 달성했지만, 일반적으로 움직임을 연속 신호로 모델링하고 그 구성적 특성을 간과하여 생성된 춤이 구조적으로 비일관적이고 제어하기 어렵게 만든다. 본 연구에서는 안무를 원자적 움직임(atomic movements)의 시퀀스로 모델링하는 구조 인식 프레임워크를 제안한다. 원자적 움직임은 춤의 구성 요소로 작용하는 의미적으로 해석 가능한 동작 이벤트이다. 이 원자적 움직임 어휘를 구축하기 위해, 먼저 대규모 춤 데이터를 분할하고 이를 원자적 움직임 그룹으로 클러스터링한다. 그다음 대규모 언어 모델(LLM)을 사용해 클러스터에 의미적 재라벨링과 정제를 수행하여, 해석 가능하고 재사용 가능한 원자적 움직임 집합을 얻는다. 이러한 원자적 움직임 주석을 바탕으로, 인간의 안무 과정을 반영하는 2단계 생성 프레임워크를 설계한다. 원자적 움직임 계획 단계에서는, 모델이 입력 음악을 조건으로 원자적 움직임의 유형, 지속 시간, 타이밍을 예측하여 상징적 춤 배치를 형성한다. 완성 단계에서는, 전환 인식(transition-aware) 생성기가 계획된 구조를 조건으로 매끄럽고 스타일적으로 일관된 움직임을 합성한다. 광범위한 실험을 통해, 본 방법이 기존 베이스라인 대비 구조적 일관성, 리듬 정렬, 지각적 자연스러움에서 유의미하게 향상된 춤을 생성함을 보였으며, 명시적 구조 표현을 통해 해석 가능성과 제어 가능한 편집을 향상시킨다.
음악 기반 댄스 비디오 생성은 음악과 시간적으로 정렬된 표현력 있는 인체 동작을 높은 시각적 충실도를 유지하면서 합성하는 것을 목표로 한다. 최근 진전에도 불구하고, 기존 방법들은 두 가지 핵심 한계에 직면해 있다: 대규모 고품질 댄스 비디오 데이터셋의 부재, 그리고 음악을 비디오 생성 기반 모델의 보완적 조건 신호로 통합하기 위한 원칙적 프레임워크의 결여이다. 이러한 한계를 해결하기 위해, 우리는 점진적 전문가 파이프라인을 통해 구축된 안무 정보 기반 텍스트 주석을 갖춘 대규모 인터넷 기반 댄스 비디오 데이터셋인 CIPE-Dance를 소개한다. 우리가 아는 한, CIPE-Dance는 현재까지 댄스 비디오 생성을 위한 가장 큰 데이터셋으로, 400시간 이상에 걸친 30만 개의 고품질 클립으로 구성되어 있으며 다양한 댄서, 환경, 댄스 장르를 포함한다. 나아가 우리는 OmniDance를 제안하는데, 이는 텍스트-이미지-투-비디오(TI2V) 기반 모델에 음악을 통합하되 원래의 제어 가능성과 시각적 충실도를 희생하지 않는 프레임워크 수준의 레시피이다. 텍스트가 저주파 의미론으로, 음악이 고주파 시간적 동역학으로서 상보적 역할을 한다는 점에 착안하여, OmniDance는 깊이 인식 특화 아키텍처, 앵커 기반 쉬움-에서-어려움 커리큘럼 학습 전략, 모달리티 특화 시간 의존적 CFG 전략을 공동 설계함으로써, 통합된 TI2V, MI2V, MTI2V 생성을 가능하게 한다. CIPE-Dance에 대한 광범위한 실험을 통해 OmniDance가 세 가지 과제 모두에서 최첨단 성능을 달성하고 강력한 멀티모달 통합 능력을 보임을 입증한다. 프로젝트는 https://github.com/AMAP-ML/OmniDance에서 확인할 수 있다.
확산 모델(DanceFusion) 기반 플랫폼 DanceDuo는 다양한 음악 장르에 맞춘 AI 안무 무용 시퀀스를 생성하고, 사용자가 음악·휴머노이드 모델을 선택하거나 개인 댄스 영상을 불러와 ROMP 기반 자세 추정으로 AI 동작과 비교할 수 있게 한다. 사용자 연구에서는 인터페이스가 직관적이었고 특히 무용 비교 기능이 몰입감과 연습 동기를 높인다는 평가를 받았다.
안무적 모션 생성은 AI에게 복잡하고 시간적으로 구조화되며 표현력 있는 전신 역학에 대한 정밀한 의미론적 제어를 요구하는 독특한 과제를 제시한다. 기존 모델은 음악으로부터 모션을 합성할 수 있지만, 대부분 블랙박스로 남아 있다. 반면 텍스트와 음악 모두로 생성을 조건화하려는 시도는 흔히 모달리티 붕괴(modality collapse)를 초래하는데, 여기서 dense한 음향 리듬이 sparse한 의미론적 텍스트 프롬프트를 압도하여 사용자 제어 가능성을 파괴한다. 이 공간-시간적 충돌을 해결하기 위해, 우리는 모달리티 분리 확산 트랜스포머인 STREAM(Structural-Temporal Rhythmic Energy-based Attention for Motion)을 제안한다. STREAM은 조건화 경로를 엄격히 분리한다: 전역 텍스트 의미론은 적응형 층 정규화(AdaLN)를 통해 운동학적 구조를 지시하고, 새로운 이중 모달 에너지 기반 어텐션 모듈(BEAM)은 이러한 특징을 의미론을 덮어쓰지 않고 음악적 박자로 전달한다. 우리는 또한 기존 Motorica 데이터셋의 도메인 특화 댄스 어휘와 프레임 수준 의미론 주석으로 보강한 새로 구성한 데이터셋 Motorica++를 소개한다. 추가로, 제로샷(zero-shot) 편집 가능성을 엄밀하게 정량화하기 위해 Exchange Evaluation Protocol과 Editable Dance Score(EDS)를 제안한다. 광범위한 실험을 통해 STREAM은 안무 의미론을 완벽하게 보존하면서 모션과 음악 간 최고 수준의 정렬을 달성하여, AI를 단순한 반응적 합성기가 아니라 예술적 연출을 위한 제어 가능하고 협력적인 파트너로 자리매김한다. 소스 코드와 데이터셋은 https://github.com/SeongJong-Yoo/STREAM에서 이용 가능하다.