음악 기반 댄스 비디오 생성은 음악과 시간적으로 정렬된 표현력 있는 인체 동작을 높은 시각적 충실도를 유지하면서 합성하는 것을 목표로 한다. 최근 진전에도 불구하고, 기존 방법들은 두 가지 핵심 한계에 직면해 있다: 대규모 고품질 댄스 비디오 데이터셋의 부재, 그리고 음악을 비디오 생성 기반 모델의 보완적 조건 신호로 통합하기 위한 원칙적 프레임워크의 결여이다. 이러한 한계를 해결하기 위해, 우리는 점진적 전문가 파이프라인을 통해 구축된 안무 정보 기반 텍스트 주석을 갖춘 대규모 인터넷 기반 댄스 비디오 데이터셋인 CIPE-Dance를 소개한다. 우리가 아는 한, CIPE-Dance는 현재까지 댄스 비디오 생성을 위한 가장 큰 데이터셋으로, 400시간 이상에 걸친 30만 개의 고품질 클립으로 구성되어 있으며 다양한 댄서, 환경, 댄스 장르를 포함한다. 나아가 우리는 OmniDance를 제안하는데, 이는 텍스트-이미지-투-비디오(TI2V) 기반 모델에 음악을 통합하되 원래의 제어 가능성과 시각적 충실도를 희생하지 않는 프레임워크 수준의 레시피이다. 텍스트가 저주파 의미론으로, 음악이 고주파 시간적 동역학으로서 상보적 역할을 한다는 점에 착안하여, OmniDance는 깊이 인식 특화 아키텍처, 앵커 기반 쉬움-에서-어려움 커리큘럼 학습 전략, 모달리티 특화 시간 의존적 CFG 전략을 공동 설계함으로써, 통합된 TI2V, MI2V, MTI2V 생성을 가능하게 한다. CIPE-Dance에 대한 광범위한 실험을 통해 OmniDance가 세 가지 과제 모두에서 최첨단 성능을 달성하고 강력한 멀티모달 통합 능력을 보임을 입증한다. 프로젝트는 https://github.com/AMAP-ML/OmniDance에서 확인할 수 있다.
안무적 모션 생성은 AI에게 복잡하고 시간적으로 구조화되며 표현력 있는 전신 역학에 대한 정밀한 의미론적 제어를 요구하는 독특한 과제를 제시한다. 기존 모델은 음악으로부터 모션을 합성할 수 있지만, 대부분 블랙박스로 남아 있다. 반면 텍스트와 음악 모두로 생성을 조건화하려는 시도는 흔히 모달리티 붕괴(modality collapse)를 초래하는데, 여기서 dense한 음향 리듬이 sparse한 의미론적 텍스트 프롬프트를 압도하여 사용자 제어 가능성을 파괴한다. 이 공간-시간적 충돌을 해결하기 위해, 우리는 모달리티 분리 확산 트랜스포머인 STREAM(Structural-Temporal Rhythmic Energy-based Attention for Motion)을 제안한다. STREAM은 조건화 경로를 엄격히 분리한다: 전역 텍스트 의미론은 적응형 층 정규화(AdaLN)를 통해 운동학적 구조를 지시하고, 새로운 이중 모달 에너지 기반 어텐션 모듈(BEAM)은 이러한 특징을 의미론을 덮어쓰지 않고 음악적 박자로 전달한다. 우리는 또한 기존 Motorica 데이터셋의 도메인 특화 댄스 어휘와 프레임 수준 의미론 주석으로 보강한 새로 구성한 데이터셋 Motorica++를 소개한다. 추가로, 제로샷(zero-shot) 편집 가능성을 엄밀하게 정량화하기 위해 Exchange Evaluation Protocol과 Editable Dance Score(EDS)를 제안한다. 광범위한 실험을 통해 STREAM은 안무 의미론을 완벽하게 보존하면서 모션과 음악 간 최고 수준의 정렬을 달성하여, AI를 단순한 반응적 합성기가 아니라 예술적 연출을 위한 제어 가능하고 협력적인 파트너로 자리매김한다. 소스 코드와 데이터셋은 https://github.com/SeongJong-Yoo/STREAM에서 이용 가능하다.
멀티모달 대규모 언어 모델(MLLM)의 복잡한 성격 행동을 제어하기 위해 명시적 성격 조건화와 체계적인 평가 프레임워크를 도입하여, 성격 유도가 이미지 캡셔닝 성능은 향상시키지만 시각적 질의응답(VQA) 같은 정밀한 추론 작업은 저해함을 확인했다. 또한 다중 성격 구성 및 동적 전환 시에는 이전과 현재의 제약 조건이 상호 작용하는 잔여 효과가 나타남을 규명했다.