arXiv:2609.23797v1 cs.GR

MoSAT: 공간 오디오와 텍스트 설명으로부터의 인간 동작 생성

MoSAT: Human Motion Generation from Spatial Audio and Textual Description

Shuyang Xu, Zhiyang Dou, Yiduo Hao, Zekun Li, Liang Pan, Jingbo Wang, Cheng Lin, Yuan Liu, Wenping Wang, Mingmin Zhao, Taku Komura

제출 2026-09-22

한국어 초록

인간의 동작(motion)은 외부의 음향 사건(acoustic event)과 행동 의도(behavioral intent) 모두에 의해 형성된다: 공간 오디오(spatial audio)는 반응을 유발하거나 안내하는 환경적 단서를 전달하며, 텍스트는 원하는 행동과 그것이 수행되어야 하는 방식을 명시한다. 본 논문에서는 공간 오디오와 자연어에 공동으로 조건화된 인간 동작 합성이라는 새로운 과제를 연구하며, 이는 기존 연구에서 크게 간과되어 온 문제이다. 이 과제를 뒷받침하기 위해, 우리는 공간 오디오와 상세한 텍스트 주석이 짝지어진 동작 시퀀스로 구성된 데이터셋(dataset)인 STAM을 소개하며, 이 텍스트 주석의 풍부한 어휘는 인간 동작을 정밀하고 세밀하게 명시할 수 있게 한다. 나아가 우리는 자연어로 표현된 의도와 방향성을 가진 공간 오디오 단서에 공동으로 조건화된 전신 동작 생성을 위한 잠재 흐름 매칭(latent flow-matching) 프레임워크인 MoSAT을 소개하며, 이는 동작을 생성하기 전에 계층적 교차 어텐션(hierarchical cross-attention)을 거친다. 이러한 계층적 설계는 시간적으로 일관되고 의미적으로 정렬된 동작 시퀀스를 향상시킨다. 우리는 또한 이 새로운 과제에 대한 종합적인 평가를 위해 삼중 모달(tri-modal) 평가자를 개발한다. 광범위한 실험을 통해 MoSAT이 공간 오디오의 본질적인 동작 형성 특성과 텍스트 의미를 함께 활용함으로써 SOTA 성능을 달성하며, 다양한 시나리오에서 정밀하고 다양한 동작을 가능하게 함을 보인다.

원문 초록

Human motion is shaped by both external acoustic events and behavioral intent: spatial audio conveys environmental cues that elicit or guide a response, while text specifies the desired action and how it should be performed. In this paper, we study the novel task of human motion synthesis jointly conditioned on spatial audio and natural language, a problem that has been largely overlooked in previous research. To support this task, We introduce STAM, a dataset of motion sequences paired with spatial audio and detailed textual annotations whose rich vocabulary affords precise and nuanced specification of human motions. We further introduce MoSAT, a latent flow-matching framework for full-body motion generation jointly conditioned on natural-language intent and directional spatial-audio cues through hierarchical cross-attention before generating motion. Such a hierarchical design enhances temporally coherent and semantically aligned motion sequences. We also develop tri-modal evaluators for comprehensive evaluation on this novel task. Extensive experiments show that MoSAT achieves the SOTA performance by leveraging spatial audio's intrinsic motion-shaping properties alongside textual semantics, enabling precise and diverse motion in various scenarios.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23797v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03391v2cs.CV공통 태그 Video Generation, flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.38748v2cs.CV공통 태그 Video Generation, spatial audio

스테레오로 세상 듣기: 몰입형 비디오-오디오 동시 생성을 위한 동적 공간 대응 학습

Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

최근의 비디오-오디오 동시 생성 모델들은 강력한 의미론적 대응과 시간적 동기화를 달성했습니다. 그러나 AR/VR 및 인터랙티브 게이밍과 같은 응용 분야에서는 몰입감을 제공하기 위해 스테레오 오디오가 추가로 요구되며, 이는 여전히 대체로 간과되고 있습니다. 효과적인 스테레오 오디오는 인지되는 음향 위치가 그에 대응하는 시각적 음원의 움직임과 일관되게 변화해야 합니다. 저자들은 이러한 특성을 동적 공간 대응(Dynamic Spatial Correspondence)이라 칭하며, 시각적 음원 움직임을 스테레오 음향 생성에 결합하는 프레임워크인 StereoBind를 제안합니다. StereoBind는 세 가지 상호보완적 메커니즘을 통해 모션 트랙을 활용하여 시각적 움직임과 스테레오 오디오를 조율합니다. 시각적 모션 바인딩(Visual Motion Binding)은 음원 인식 시청각 대응을 확립하고, 공간 트랙 인코더(Spatial Track Encoder)는 절대적인 음원 위치를 포착하며, 잔차 트랙 RoPE(Residual Track RoPE)는 상대적 움직임을 모델링합니다. 지도 학습 및 평가를 위해 모션 트랙이 쌍으로 구성된 대규모 스테레오 오디오-비디오 데이터셋인 StereoWorld-29K와 시청각 공간 일관성을 측정하기 위한 StereoWorldBench를 구축합니다. 실험 결과, StereoBind는 전반적인 시청각 품질을 유지하면서 기존 모델 대비 스테레오 오디오 생성의 공간적 정렬(spatial alignment)을 대폭 개선함을 보여줍니다.

arXiv:2610.00691v2cs.CV공통 태그 Video Generation, flow matching

Soundwich: 계층화 및 제어 가능한 오디오를 결합한 비디오 생성

Soundwich: Video Generation with Layered and Controllable Audio

최근 오디오-비디오 공동 생성 모델은 동기화된 사운드를 포함한 사실적인 비디오를 합성할 수 있지만, 일반적으로 단일 믹싱 트랙으로 오디오를 생성합니다. 이는 음원 수준의 제어를 제한하며, 음성, 음악, 음향 효과 및 주변음이 편집 가능한 별도의 트랙으로 표현되는 실제 시청각 워크플로와 차이가 있습니다. 본 연구에서는 고정된(frozen) 오디오-비디오 결합 플로우 매칭(flow-matching) 모델을 공유 비디오와 결합된 동기화되고 독립적으로 편집 가능한 다중 오디오 스템(stem) 생성기로 변환하는 무학습(training-free) 프레임워크인 Soundwich를 소개합니다. Soundwich는 시간적 활성화를 명시적으로 제어하면서 별도의 오디오 스템을 생성합니다. 개별적으로 생성된 사운드의 일관성을 유지하기 위해, 음원 수준의 분리를 보존하면서 스템 전반에 걸쳐 전역적 시청각 컨텍스트를 전달하는 공유 장면 표현을 도입합니다. 나아가 각 오디오 스템과 그에 대응하는 시각적 소스 간의 교차 모달 상호작용을 라우팅하여 시청각 일관성을 향상합니다. 그 결과 생성된 스템은 비디오와 동기화된 상태를 유지하며 독립적으로 타이밍을 재조정하거나, 음소거, 교체 또는 리믹스할 수 있습니다. 실험 및 정성적 평가를 통해 시간적 제어, 음원 분리 및 자연스러움이 향상됨과 동시에 일관된 시청각 생성 내에서 유연한 음원 수준 편집이 가능함을 보여줍니다. 코드는 https://github.com/CodyNing/Soundwich 에서 확인할 수 있습니다.

arXiv:2610.02726v1cs.CV공통 태그 Video Generation, flow matching

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.03047v1cs.CV공통 태그 Video Generation, flow matching

기생적 공동 디노이징: 고정된 비디오 확산 모델에서 3D 인체 동작 생성 잠금 해제하기

Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model

명시적인 3D 동작에 대해 지도학습을 거치지 않았음에도, 대규모 텍스트-비디오 확산 모델(text-to-video diffusion models)은 생성된 비디오 내에서 사실적인 인체 동작을 합성합니다. 본 연구에서는 별도의 동작 모델을 학습(training)하지 않고도 이러한 암묵적 지식을 명시적인 3D 동작 생성으로 전환할 수 있는지 질문합니다. 고정된 Wan2.1을 탐색한 결과, 깨끗한 출력물에만 국한되지 않고 전체 디노이징 스케줄(denoising schedule)에 걸친 중간 상태 전반에 복구 가능한 동작 신호가 존재함을 확인했습니다. 이에 착안하여, 독립된 생성기를 통해 동작을 생성하는 대신 호스트 모델(model)의 디노이징 스케줄을 따라 동작을 디코딩하는 패러다임인 기생적 공동 디노이징(parasitic co-denoising)을 제안합니다. 이를 호스트의 노이즈 스케줄을 공유하며 호스트를 수정하지 않은 채 $\sigma$-적응형 다층(multi-layer) 융합을 통해 중간 특징을 읽어오는 효율적인 플로우 매칭(flow-matching) 디코더인 Parasitic Motion Decoder(PMD)로 구현합니다. 동작 데이터 대신 호스트로부터 표현 범위를 이끌어내는 PMD는 전용 동작 생성기 학습 가능 파라미터의 극히 일부만을 사용하면서도 텍스트-동작 정렬(alignment)에서 이들을 앞서며, 동작 전용 베이스라인 모델들이 달성할 수 없는 비디오 및 동작 쌍 생성을 단일 패스로 동시에 수행합니다.

arXiv:2610.03202v1cs.CV공통 태그 Video Generation, flow matching

컨텍스트 기반 플로우 매칭: 효율적인 시각적 생성을 위한 플로우 모델의 적응형 스텝 선택

Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation

플로우 매칭(Flow Matching)은 연속 시간 동역학을 통해 고품질의 시각적 생성을 가능하게 하지만, 여러 번의 순차적 함수 평가로 인해 여전히 추론(inference) 비용이 많이 듭니다. 기존의 가속 기법들은 함수 평가 횟수를 줄이지만 추가적인 학습(training) 부담을 초래하거나 품질을 저하시키며, 입력에 따른 변동성을 고려하지 못하는 경우가 많습니다. 본 논문에서는 프롬프트(prompt) 특징을 기반으로 매 생성마다 스텝 수를 적응적으로 선택하는 추론 시점 기법인 COFLOW를 제안합니다. 컨텍스트를 인식하는 COFLOW는 추론 효율성과 생성 충실도의 균형을 맞추는 비지도 보상(reward)을 통해 온라인으로 학습됩니다. 본 기법은 플러그 앤 플레이(plug-and-play) 방식으로 기반 생성 모델(generative model)을 재학습할 필요가 없습니다. 이는 이미지 및 비디오 생성으로 일반화되며, 지각적 및 의미론적 품질을 유지하면서 2.5배 이상의 속도 향상을 달성합니다. 나아가 표준 정칙성 조건 하에서 O(1/K) 전향 오일러(forward-Euler) 이산화 오차 한계를 확립하는 이론적 분석을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.