arXiv:2610.00691v2 cs.CV

Soundwich: 계층화 및 제어 가능한 오디오를 결합한 비디오 생성

Soundwich: Video Generation with Layered and Controllable Audio

Zhuo Ning, AmirHossein Naghi Razlighi, Sagi Polaczek, Daniel Cohen-Or, Ali Mahdavi-Amiri

제출 2026-09-30

저자 비고

arXiv Comments

34 pages. Code: https://github.com/CodyNing/Soundwich

한국어 초록

최근 오디오-비디오 공동 생성 모델은 동기화된 사운드를 포함한 사실적인 비디오를 합성할 수 있지만, 일반적으로 단일 믹싱 트랙으로 오디오를 생성합니다. 이는 음원 수준의 제어를 제한하며, 음성, 음악, 음향 효과 및 주변음이 편집 가능한 별도의 트랙으로 표현되는 실제 시청각 워크플로와 차이가 있습니다. 본 연구에서는 고정된(frozen) 오디오-비디오 결합 플로우 매칭(flow-matching) 모델을 공유 비디오와 결합된 동기화되고 독립적으로 편집 가능한 다중 오디오 스템(stem) 생성기로 변환하는 무학습(training-free) 프레임워크인 Soundwich를 소개합니다. Soundwich는 시간적 활성화를 명시적으로 제어하면서 별도의 오디오 스템을 생성합니다. 개별적으로 생성된 사운드의 일관성을 유지하기 위해, 음원 수준의 분리를 보존하면서 스템 전반에 걸쳐 전역적 시청각 컨텍스트를 전달하는 공유 장면 표현을 도입합니다. 나아가 각 오디오 스템과 그에 대응하는 시각적 소스 간의 교차 모달 상호작용을 라우팅하여 시청각 일관성을 향상합니다. 그 결과 생성된 스템은 비디오와 동기화된 상태를 유지하며 독립적으로 타이밍을 재조정하거나, 음소거, 교체 또는 리믹스할 수 있습니다. 실험 및 정성적 평가를 통해 시간적 제어, 음원 분리 및 자연스러움이 향상됨과 동시에 일관된 시청각 생성 내에서 유연한 음원 수준 편집이 가능함을 보여줍니다. 코드는 https://github.com/CodyNing/Soundwich 에서 확인할 수 있습니다.

원문 초록

Recent joint audio-video generative models can synthesize realistic videos with synchronized sound, but typically generate audio as a single mixed track. This limits source-level control and differs from practical audiovisual workflows, where speech, music, sound effects, and ambient sounds are represented as separate editable tracks. We introduce Soundwich, a training-free framework that transforms a frozen joint audio-video flow-matching model into a generator of multiple synchronized, independently editable audio stems coupled to a shared video. Soundwich generates separate audio stems with explicit control over their temporal activity. To keep separately generated sounds coherent, we introduce a shared scene representation that communicates global audiovisual context across stems while preserving their source-level separation. We further route cross-modal interactions between each audio stem and its corresponding visual source, improving audiovisual consistency. The resulting stems remain synchronized with the video and can be independently retimed, muted, replaced, or remixed. Experiments and human evaluations show improved temporal control, source separation, and naturalness, while enabling flexible source-level editing within coherent audiovisual generation. Code is available at https://github.com/CodyNing/Soundwich.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00691v2
  2. arXiv:2610.00691v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03391v2cs.CV공통 태그 Video Generation, flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2608.26535v2cs.AI공통 태그 Video Generation, audio-video generation

Multi2AV-Safety: 멀티모달-오디오-비디오 생성 모델의 안전성 벤치마킹

Multi2AV-Safety: Benchmarking Safety in Multimodal-to-Audio-Video Generation

최근 오디오-비디오 생성 모델은 텍스트, 이미지, 오디오, 비디오의 결합 조건화(joint conditioning)를 점진적으로 지원하고 있습니다. 이러한 기능은 교차 모달(cross-modal) 상호작용을 악용하거나 유해한 의도를 은폐하여 안전장치를 우회하고 유해한 오디오-비디오 출력을 유도하는 공격을 가능하게 하기도 합니다. 그러나 기존의 생성 안전성(generation-safety) 벤치마크는 이러한 발전을 따라가지 못하여, 멀티모달 입력 조합 및 은폐된 공격 의도에 대한 제한적인 커버리지만을 제공합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 11개의 비단일(non-singleton) T/I/A/V 조건화 구성 전반, 4가지 공격 의도 범주, 5가지 위해(harm) 범주에 걸친 11,024개의 공격 인스턴스로 구성된 멀티모달-오디오-비디오 생성을 위한 최초의 전면적 레드팀 벤치마크 Multi2AV-Safety를 소개합니다. 4개의 멀티모달 조건부 오디오-비디오 생성 모델과 8개의 안전 가드를 포함한 최신 SOTA 모델을 평가한 결과, 생성 및 안전 보호 전반에서 상당한 취약점이 드러났으며, 멀티모달 구성적 위험과 은폐된 공격 의도 위험이 상호 보완적인 두 가지 과제로 대두되었습니다. 이러한 결과를 바탕으로, 본 논문에서는 구조화된 위험 인식 학습을 통해 구성적 위험 및 공격 의도에 대한 감독을 통합하는 옴니모달(omni-modal) 가드 PerceptGuard를 제안합니다. 근거 생성과 안전성 분류(classification)를 공동으로 학습(training)함으로써, 안전 헤드가 필요 시 설명을 생성하는 능력을 유지하면서도 근거 디코딩 없이 추론(inference) 시 효율적인 예측을 수행할 수 있도록 공유된 위험 표현을 학습합니다. 34개의 안전 벤치마크 전반에서 PerceptGuard는 SOTA 멀티모달 안전 탐지와 매우 경쟁력 있는 단일모달(unimodal) 성능을 결합하여, 옴니 모델에 대한 멀티모달 공격에 맞서는 입력단 안전장치를 강화합니다. 특히 앞서 언급한 위험에 대한 안전 보호를 향상하여 Multi2AV-Safety에서 86.06%의 종합 재현율(recall)을 달성하고 GuardReasoner-Omni를 14.56% 상회합니다.

arXiv:2610.10343v2cs.CV공통 태그 Video Generation, audio-video generation

병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/

arXiv:2610.02726v1cs.CV공통 태그 Video Generation, flow matching

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.03047v1cs.CV공통 태그 Video Generation, flow matching

기생적 공동 디노이징: 고정된 비디오 확산 모델에서 3D 인체 동작 생성 잠금 해제하기

Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model

명시적인 3D 동작에 대해 지도학습을 거치지 않았음에도, 대규모 텍스트-비디오 확산 모델(text-to-video diffusion models)은 생성된 비디오 내에서 사실적인 인체 동작을 합성합니다. 본 연구에서는 별도의 동작 모델을 학습(training)하지 않고도 이러한 암묵적 지식을 명시적인 3D 동작 생성으로 전환할 수 있는지 질문합니다. 고정된 Wan2.1을 탐색한 결과, 깨끗한 출력물에만 국한되지 않고 전체 디노이징 스케줄(denoising schedule)에 걸친 중간 상태 전반에 복구 가능한 동작 신호가 존재함을 확인했습니다. 이에 착안하여, 독립된 생성기를 통해 동작을 생성하는 대신 호스트 모델(model)의 디노이징 스케줄을 따라 동작을 디코딩하는 패러다임인 기생적 공동 디노이징(parasitic co-denoising)을 제안합니다. 이를 호스트의 노이즈 스케줄을 공유하며 호스트를 수정하지 않은 채 $\sigma$-적응형 다층(multi-layer) 융합을 통해 중간 특징을 읽어오는 효율적인 플로우 매칭(flow-matching) 디코더인 Parasitic Motion Decoder(PMD)로 구현합니다. 동작 데이터 대신 호스트로부터 표현 범위를 이끌어내는 PMD는 전용 동작 생성기 학습 가능 파라미터의 극히 일부만을 사용하면서도 텍스트-동작 정렬(alignment)에서 이들을 앞서며, 동작 전용 베이스라인 모델들이 달성할 수 없는 비디오 및 동작 쌍 생성을 단일 패스로 동시에 수행합니다.

arXiv:2610.03202v1cs.CV공통 태그 Video Generation, flow matching

컨텍스트 기반 플로우 매칭: 효율적인 시각적 생성을 위한 플로우 모델의 적응형 스텝 선택

Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation

플로우 매칭(Flow Matching)은 연속 시간 동역학을 통해 고품질의 시각적 생성을 가능하게 하지만, 여러 번의 순차적 함수 평가로 인해 여전히 추론(inference) 비용이 많이 듭니다. 기존의 가속 기법들은 함수 평가 횟수를 줄이지만 추가적인 학습(training) 부담을 초래하거나 품질을 저하시키며, 입력에 따른 변동성을 고려하지 못하는 경우가 많습니다. 본 논문에서는 프롬프트(prompt) 특징을 기반으로 매 생성마다 스텝 수를 적응적으로 선택하는 추론 시점 기법인 COFLOW를 제안합니다. 컨텍스트를 인식하는 COFLOW는 추론 효율성과 생성 충실도의 균형을 맞추는 비지도 보상(reward)을 통해 온라인으로 학습됩니다. 본 기법은 플러그 앤 플레이(plug-and-play) 방식으로 기반 생성 모델(generative model)을 재학습할 필요가 없습니다. 이는 이미지 및 비디오 생성으로 일반화되며, 지각적 및 의미론적 품질을 유지하면서 2.5배 이상의 속도 향상을 달성합니다. 나아가 표준 정칙성 조건 하에서 O(1/K) 전향 오일러(forward-Euler) 이산화 오차 한계를 확립하는 이론적 분석을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.