arXiv:2609.38748v2 cs.CV

스테레오로 세상 듣기: 몰입형 비디오-오디오 동시 생성을 위한 동적 공간 대응 학습

Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

Hanmo Chen, Chengcheng Liu, Tianxiao Chen, Zheyu Zhang, Siming Zheng, Jinwei Chen, Xu Yang, Cheng Deng, Bo Li, Peng-tao Jiang

제출 2026-09-30

한국어 초록

최근의 비디오-오디오 동시 생성 모델들은 강력한 의미론적 대응과 시간적 동기화를 달성했습니다. 그러나 AR/VR 및 인터랙티브 게이밍과 같은 응용 분야에서는 몰입감을 제공하기 위해 스테레오 오디오가 추가로 요구되며, 이는 여전히 대체로 간과되고 있습니다. 효과적인 스테레오 오디오는 인지되는 음향 위치가 그에 대응하는 시각적 음원의 움직임과 일관되게 변화해야 합니다. 저자들은 이러한 특성을 동적 공간 대응(Dynamic Spatial Correspondence)이라 칭하며, 시각적 음원 움직임을 스테레오 음향 생성에 결합하는 프레임워크인 StereoBind를 제안합니다. StereoBind는 세 가지 상호보완적 메커니즘을 통해 모션 트랙을 활용하여 시각적 움직임과 스테레오 오디오를 조율합니다. 시각적 모션 바인딩(Visual Motion Binding)은 음원 인식 시청각 대응을 확립하고, 공간 트랙 인코더(Spatial Track Encoder)는 절대적인 음원 위치를 포착하며, 잔차 트랙 RoPE(Residual Track RoPE)는 상대적 움직임을 모델링합니다. 지도 학습 및 평가를 위해 모션 트랙이 쌍으로 구성된 대규모 스테레오 오디오-비디오 데이터셋인 StereoWorld-29K와 시청각 공간 일관성을 측정하기 위한 StereoWorldBench를 구축합니다. 실험 결과, StereoBind는 전반적인 시청각 품질을 유지하면서 기존 모델 대비 스테레오 오디오 생성의 공간적 정렬(spatial alignment)을 대폭 개선함을 보여줍니다.

원문 초록

Recent joint video-audio generation models have achieved strong semantic correspondence and temporal synchronization. However, applications such as AR/VR and interactive gaming further require stereo audio to provide an immersive sense, which remains largely overlooked. Effective stereo audio requires the perceived sound location to evolve consistently with the motion of its corresponding visual source. We refer to this property as Dynamic Spatial Correspondence and propose StereoBind, a framework that binds visual source motion to stereo sound generation. StereoBind uses motion tracks to coordinate visual motion and stereo audio through three complementary mechanisms. Visual Motion Binding establishes source-aware audiovisual correspondence, the Spatial Track Encoder captures absolute source positions, and Residual Track RoPE models relative motion. For supervision and evaluation, we construct StereoWorld-29K, a large-scale stereo audio-video dataset with paired motion tracks, and StereoWorldBench for measuring audiovisual spatial consistency. Experiments show that StereoBind substantially improves spatial alignment in stereo audio generation over existing models while preserving overall audiovisual quality.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.38748v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23797v1cs.GR공통 태그 Video Generation, spatial audio

MoSAT: 공간 오디오와 텍스트 설명으로부터의 인간 동작 생성

MoSAT: Human Motion Generation from Spatial Audio and Textual Description

인간의 동작(motion)은 외부의 음향 사건(acoustic event)과 행동 의도(behavioral intent) 모두에 의해 형성된다: 공간 오디오(spatial audio)는 반응을 유발하거나 안내하는 환경적 단서를 전달하며, 텍스트는 원하는 행동과 그것이 수행되어야 하는 방식을 명시한다. 본 논문에서는 공간 오디오와 자연어에 공동으로 조건화된 인간 동작 합성이라는 새로운 과제를 연구하며, 이는 기존 연구에서 크게 간과되어 온 문제이다. 이 과제를 뒷받침하기 위해, 우리는 공간 오디오와 상세한 텍스트 주석이 짝지어진 동작 시퀀스로 구성된 데이터셋(dataset)인 STAM을 소개하며, 이 텍스트 주석의 풍부한 어휘는 인간 동작을 정밀하고 세밀하게 명시할 수 있게 한다. 나아가 우리는 자연어로 표현된 의도와 방향성을 가진 공간 오디오 단서에 공동으로 조건화된 전신 동작 생성을 위한 잠재 흐름 매칭(latent flow-matching) 프레임워크인 MoSAT을 소개하며, 이는 동작을 생성하기 전에 계층적 교차 어텐션(hierarchical cross-attention)을 거친다. 이러한 계층적 설계는 시간적으로 일관되고 의미적으로 정렬된 동작 시퀀스를 향상시킨다. 우리는 또한 이 새로운 과제에 대한 종합적인 평가를 위해 삼중 모달(tri-modal) 평가자를 개발한다. 광범위한 실험을 통해 MoSAT이 공간 오디오의 본질적인 동작 형성 특성과 텍스트 의미를 함께 활용함으로써 SOTA 성능을 달성하며, 다양한 시나리오에서 정밀하고 다양한 동작을 가능하게 함을 보인다.

arXiv:2607.24359v1cs.CV공통 태그 Video Generation, audio-visual generation

TaoMate: 앵커 가이드 메모리로 진화 상태와 참조 상태를 잇는 실시간 오디오-비디오 디지털 휴먼 생성

TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation

실시간 장편 디지털 휴먼 생성은 연속된 구간에 걸쳐 대상 외형과 오디오-비디오 동기화를 유지하면서 시청각 콘텐츠를 확장하기 위해 인과적 모델에 의존한다. 제한된 캐시는 국소적 움직임과 음운 문맥을 보존하지만 오래된 증거는 폐기하며, 생성된 전체 이력에 어텐션을 적용하는 것은 계산 비용이 크고 누적 오류를 전파할 수 있다. 소수 스텝 공동 오디오-비디오 생성을 위한 앵커 가이드 영구 메모리 프레임워크인 TaoMate를 제안한다. 이 프레임워크는 불변의 시각적 앵커를 보존하고, 완료된 비디오 및 오디오 블록을 고정 용량의 동적 상태로 압축하며, 활성 캐시를 확장하지 않고 모달리티별 잔차 어텐션을 통해 해당 상태를 검색한다. 참조 인식 변조 방법은 추가로 동적 및 앵커 외형 통계에 비디오 특징을 조건화한다. 앵커 보존 인과 문맥 지식 증류는 불변의 시각적 앵커를 변화시키지 않은 채 롤아웃 지평, 접두 문맥 출처, 캐시 이력 신뢰도를 다양하게 변화시킨다. 영구 메모리를 단계 국소 디노이징 의존성과 분리함으로써 TaoMate는 블록 간 단계 병렬 실행을 추가로 허용하여 파이프라인 특화 재학습 없이 자기회귀 추론을 가속한다. 외형, 시간적, 동기화, 얼굴, 음성 진단 지표로 장편 비디오 연속 생성을 평가한다. 결과는 TaoMate가 프롬프트 조건화된 구간에 걸쳐 안정적인 외형과 자기회귀 생성 하에서 강한 시청각 동기화를 유지함을 보여준다. 프로젝트 페이지는 https://taoliveaigc.github.io/TaoMate 이다.

arXiv:2607.13471v1cs.CV공통 태그 Video Generation, audio-visual generation

Bring Music The Horizon: 음악 기반 360° 비디오 생성

Bring Music The Horizon: Music-Driven 360$^\circ$ Video Generation

음악 시각화는 청각 신호를 시각적 형태로 변환함으로써 청취자의 음악 이해와 경험을 향상시키는 강력한 방법을 제공한다. 그러나 기존 방법의 대부분은 가사에 과도하게 의존하거나 일반적인 뮤직 비디오와 유사한 평면적이고 몰입형이 아닌 비디오를 생성하여, 음악의 감정적 역동성을 전달하고 몰입형 청취 경험을 제공하는 능력을 제한한다. 우리는 음악 기반 360° 비디오 생성을 위한 감정 인식 파이프라인인 Bring Music The Horizon을 제안한다. 입력 곡이 주어지면, 우리 방법은 먼저 매 4마디(bar) 단위로 valence-arousal 값을 예측하여 감정 궤적을 추정한다. 이 값들은 EmotiCrafter를 사용하여 감정 인식 시각적 가이던스로 변환되며, 키프레임 생성에 대한 세밀한 의미론적 제어를 제공하는 SEGA 프레임워크를 통해 이 가이던스 벡터를 조작할 수 있다. 마지막으로, 생성된 키프레임에 이미지-투-비디오(image-to-video) 모델을 적용하여 몰입형 음악 시각화를 위한 시간적으로 연속적인 360° 비디오를 합성한다. 우리 파이프라인은 입력 곡의 감정 진행과 시간적 구조를 반영하는 360° 음악 시각화 비디오를 생성한다. 다양한 장르의 곡을 사용하여 그 기능을 시연하고, 오디오-투-비디오 생성 기준선인 From-Sound-To-Sight와의 정성적 비교를 https://etoile-et-toi-mp3.github.io/BMTH_Project_Page/ 프로젝트 페이지에서 제공한다.

arXiv:2607.04443v2cs.CV공통 태그 Video Generation, audio-visual generation

Wan-Streamer v0.2: 더 높은 해상도, 동일한 지연 시간

Wan-Streamer v0.2: Higher Resolution, Same Latency

우리는 네이티브 스트리밍 방식의 엔드투엔드 오디오-비주얼 상호작용 모델의 지연 시간 보존 업그레이드인 Wan-Streamer v0.2를 소개한다. v0.2는 v0.1의 모델링 공식을 유지하면서 25 FPS에서 약 200 ms의 모델 측 신호-신호 간 지연 시간을 보존하며 인터랙티브 출력 스트림을 192x336에서 640x368로 높인다. 더 높은 해상도의 스트림은 자세, 시선, 손, 주변 사물, 로컬 장면 레이아웃이 실시간 대화 중에도 식별 가능한 상태를 유지하는 장면 기반 미드샷 에이전트를 지원한다. 사용자가 체감하는 지연 없이 더 큰 시각적 스트림을 지원하기 위해 v0.2는 씽커(thinker)를 스트리밍 지각을 위한 단일 GPU 저지연 경로, 생성 캐시를 구축하는 짧은 언어/상태 트랜스포머 패스, 최종 디코딩으로 유지한다. 퍼포머(performer)는 비용이 큰 차세대 유닛 잠재(latent) 생성을 위한 멀티 GPU 율리시스(Ulysses) 방식 컨텍스트 병렬 그룹이 된다. 각 퍼포머 랭크는 수신되는 K/V를 사전 샤딩된 로컬 캐시에 기록한다. 긴 고해상도 잠재 비디오 시퀀스는 디노이징을 위해 랭크 전체에 분할되고 Ulysses 통신을 통해 수집되는 반면, 훨씬 짧은 오디오 잠재 시퀀스는 시퀀스 샤딩 없이 생성된다. 이 분할에서 씽커의 언어/상태 연산은 K/V 컨디셔닝으로만 퍼포머에 전달되므로 퍼포머 그룹 내부에서 별도의 언어 시퀀스를 통신할 필요가 없다. 이를 통해 씽커-퍼포머 경계를 간결하게 유지하면서 추가 하드웨어를 시각적 생성에 집중할 수 있으며, 350 ms의 양방향 네트워크 예산이 포함될 때 총 원격 상호작용 지연 시간을 약 550 ms로 유지한다.

arXiv:2609.27901v2cs.CV공통 태그 Video Generation

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

토론

이 논문과 연결된 포럼 글이 아직 없습니다.