한국어 초록
월드 모델(world model)의 최근 발전으로 점점 더 사실적인 시각적 합성이 가능해졌습니다. 그러나 이렇게 생성된 환경들은 여전히 대부분 소리가 없습니다. 월드 모델에 소리를 부여하는 데에는 세 가지 핵심 과제가 따릅니다. 즉, 대화형 비디오 스트림에 보조를 맞추기 위한 실시간 생성, 스트림 도중 들어오는 사운드 지침에 반응하기 위한 인터랙티브 제어, 그리고 장면 기하구조 및 카메라 움직임을 반영하기 위한 공간적으로 정렬된 스테레오 사운드입니다. 이러한 요구를 해결하기 위해, 본 논문에서는 월드 모델 내 실시간 공간 사운드 합성을 위해 설계된 인터랙티브 비디오-투-오디오(video-to-audio) 프레임워크인 WorldSonus를 소개합니다. 실시간 생성을 위해 WorldSonus는 스트리밍 인과적 자기회귀 확산(causal autoregressive diffusion) 아키텍처를 채택하여 0.41의 낮은 실시간 비율(RTF)로 오디오 청크를 합성합니다. 인터랙티브 제어를 위해서는 청크 인덱스 기반 프롬프트 스케줄링을 갖춘 오디오 중심 캡셔닝 파이프라인을 통합하여 생성 도중 사운드 이벤트를 동적으로 조작할 수 있도록 합니다. 공간 정렬을 위해서는 다양한 스테레오 및 앰비소닉(ambisonic) 데이터로부터 정제된 고품질 스테레오 지도학습을 활용합니다. 광범위한 실험을 통해 WorldSonus는 월드 모델에 맞춤 설계되었음에도 불구하고 공개 도메인 비디오-투-오디오 벤치마크로 효과적으로 일반화되며, 음향 품질과 공간 정렬 모두에서 최첨단 양방향 모델들과 동등하거나 이를 능가하는 성능을 보임을 입증합니다. 프로젝트 페이지: https://noizai.github.io/WorldSonus/
원문 초록
Recent advances in world models have enabled increasingly realistic visual synthesis. However, these generated environments remain largely silent. Bringing sound to world models poses three core challenges: real-time generation to keep pace with interactive video streams, interactive control to respond to mid-stream sound instructions, and spatially aligned stereo to reflect scene geometry and camera motion. To address these demands, we introduce WorldSonus, an interactive video-to-audio framework designed for real-time spatial sound synthesis in world models. For real-time generation, WorldSonus employs a streaming causal autoregressive diffusion architecture that synthesizes audio chunks at a low real-time factor (RTF) of 0.41. For interactive control, we incorporate an audio-centric captioning pipeline with chunk-indexed prompt scheduling, enabling dynamic manipulation of sound events during generation. For spatial alignment, we leverage high-quality stereo supervision curated from diverse stereo and ambisonic data. Extensive experiments demonstrate that while tailored for world models, WorldSonus generalizes effectively to open-domain video-to-audio benchmarks, matching or outperforming state-of-the-art bidirectional models in both acoustic quality and spatial alignment. Project page: https://noizai.github.io/WorldSonus/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
25 pages, 4 figures, 16 tables. Project page: https://noizai.github.io/WorldSonus/