arXiv:2602.08794 cs.CV

MOVA: Towards Scalable and Synchronized Video-Audio Generation

제출 2026-02-09

한국어 초록

오디오(Audio)는 실제 세계의 비디오(Video)에서 필수적이지만, 생성 모델들은 주로 오디오 구성 요소를 간과해 왔습니다. 현재 오디오-비주얼 콘텐츠를 생성하는 접근 방식은 종종 연속적인 파이프라인에 의존하여 비용을 증가시키고, 오류를 누적시키며, 전반적인 품질을 저하시킵니다. Veo 3 및 Sora 2와 같은 시스템은 동시 생성의 가치를 강조하지만, 공동 멀티모달 모델링은 아키텍처, 데이터 및 학습에서 독특한 도전 과제를 제시합니다. 또한 기존 시스템의 폐쇄형 소스 특성은 이 분야의 발전을 제한합니다. 본 연구에서는 고품질의 동기화된 오디오-비주얼 콘텐츠를 생성할 수 있는 오픈 소스 모델인 MOVA (MOSS Video and Audio)를 소개합니다. 이 모델은 사실적인 입술 동기화 음성, 환경 인식 사운드 효과 및 콘텐츠에 맞춘 음악을 포함합니다. MOVA는 총 320억 개의 매개변수를 가진 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처를 사용하며, 이 중 180억 개는 추론 중에 활성화됩니다. IT2VA(이미지-텍스트에서 비디오-오디오로) 생성 작업을 지원합니다. 모델의 가중치와 코드를 공개함으로써 연구를 발전시키고 창작자 커뮤니티의 활력을 도모하는 것을 목표로 합니다. 공개된 코드베이스는 효율적인 추론, LoRA 파인튜닝 및 프롬프트 향상을 위한 포괄적인 지원 기능을 갖추고 있습니다.

요약

현재 비디오 생성 모델은 오디오 요소를 간과하는 경향이 있으며, 오디오-비주얼 콘텐츠를 생성하는 기존 접근 방식은 종종 연속적인 파이프라인에 의존하여 비용을 증가시키고 오류를 축적하며 전체 품질을 저하시킵니다. Veo 3와 Sora 2와 같은 시스템은 동시 생성의 중요성을 강조하지만, 공동 멀티모달 모델링은 아키텍처, 데이터 및 학습에서 고유한 도전 과제를 제시합니다. 또한, 기존 시스템의 폐쇄형 소스 특성은 이 분야의 발전을 제한합니다. 본 연구에서는 고품질의 동기화된 오디오-비주얼 콘텐츠를 생성할 수 있는 오픈 소스 모델인 MOVA(모스 비디오 및 오디오)를 소개합니다. MOVA는 32억 개의 파라미터를 가진 Mixture-of-Experts(MoE) 아키텍처를 사용하며, 추론 시 18억 개의 파라미터가 활성화됩니다. 이 모델은 이미지-텍스트에서 비디오-오디오로의 생성 작업(IT2VA)을 지원합니다. 모델 가중치와 코드를 공개함으로써 연구를 발전시키고 창작자 커뮤니티를 활성화하는 것을 목표로 하고 있습니다. 공개된 코드베이스는 효율적인 추론, LoRA 파인튜닝 및 프롬프트 향상을 위한 포괄적인 지원을 제공합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.