시각적 가이드 기반 음향 강조를 위한 조건부 흐름 매칭
Conditional Flow Matching for Visually-Guided Acoustic Highlighting
한국어 초록
시각적 가이드 기반 음향 강조(Visually-guided acoustic highlighting)는 동반되는 영상에 맞춰 오디오의 밸런스를 재조정하여 일관된 시청각 경험을 만드는 것을 목표로 한다. 시각적 돌출도(saliency) 및 향상은 널리 연구되어 온 반면, 음향 강조는 여전히 충분히 탐구되지 않아 시각적 초점과 청각적 초점 간의 불일치가 자주 발생한다. 기존 접근 방식들은 판별 모델(discriminative model)을 사용하지만, 이는 불균형한 오디오 믹스와 균형 잡힌 오디오 믹스 사이에 자연스러운 일대일 매핑이 존재하지 않는 오디오 리믹싱 고유의 모호성을 처리하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해, 본 연구는 이 작업을 생성 문제로 재구성하고 조건부 흐름 매칭(CFM, Conditional Flow Matching) 프레임워크를 도입한다. 반복적인 흐름 기반 생성의 주요 과제는 향상할 올바른 소스를 선택하는 과정에서의 초기 예측 오류가 단계를 거치며 누적되어 궤적을 다양체(manifold) 밖으로 벗어나게 한다는 점이다. 이를 해결하기 위해 본 논문에서는 최종 단계에서의 이탈에 페널티를 부과하여 궤적의 자체 교정을 유도하고 장거리 흐름 적분을 안정화하는 롤아웃 손실(rollout loss)을 도입한다. 또한 벡터장(vector field) 회귀 이전에 시청각 단서를 융합하여 명시적인 크로스모달 소스 선택을 가능하게 하는 조건화 모듈을 제안한다. 광범위한 정량적 및 정성적 평가 결과, 본 방법은 기존 최고 수준(SOTA)의 판별 접근 방식을 지속적으로 능가하며 시각적 가이드 기반 오디오 리믹싱이 생성 모델링을 통해 가장 잘 해결될 수 있음을 입증한다.
원문 초록
Visually-guided acoustic highlighting seeks to rebalance audio in alignment with the accompanying video, creating a coherent audio-visual experience. While visual saliency and enhancement have been widely studied, acoustic highlighting remains underexplored, often leading to misalignment between visual and auditory focus. Existing approaches use discriminative models, which struggle with the inherent ambiguity in audio remixing, where no natural one-to-one mapping exists between poorly-balanced and well-balanced audio mixes. To address this limitation, we reframe this task as a generative problem and introduce a Conditional Flow Matching (CFM) framework. A key challenge in iterative flow-based generation is that early prediction errors -- in selecting the correct source to enhance -- compound over steps and push trajectories off-manifold. To address this, we introduce a rollout loss that penalizes drift at the final step, encouraging self-correcting trajectories and stabilizing long-range flow integration. We further propose a conditioning module that fuses audio and visual cues before vector field regression, enabling explicit cross-modal source selection. Extensive quantitative and qualitative evaluations show that our method consistently surpasses the previous state-of-the-art discriminative approach, establishing that visually-guided audio remixing is best addressed through generative modeling.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지역 Flow Matching 생성 모델
Local Flow Matching Generative Models
Flow Matching(FM)은 두 분포를 보간하는 연속적·가역적 flow를 학습하는 시뮬레이션 없는 방법이며, 특히 노이즈에서 데이터를 생성한다. 확산 과정이 그래디언트 flow로서 갖는 변분적 성질에 영감을 받아, 우리는 단계적 FM 모델인 지역 Flow Matching(LFM)을 제안한다. LFM은 FM 서브모델들의 시퀀스를 순차적으로 학습하고, 각 서브모델은 데이터에서 노이즈 방향으로의 time-step 크기에 해당하는 범위까지 확산 과정과 일치시킨다. 각 단계에서 서브-flow 모델이 보간하는 두 분포는 데이터와 노이즈 분포를 보간하는 전체 flow matching 모델의 경우보다 더 가깝다. 이를 통해 더 작은 모델과 더 효율적인 학습이 가능하다. 이러한 변분적 관점은 또한 확산 과정의 수축(contraction) 성질을 활용하여, 생성된 분포와 실제 데이터 분포 사이의 $χ^2$-발산에 대한 관점에서 제안 flow 모델의 이론적 생성 보장을 증명할 수 있게 한다. 실제로 LFM의 단계적 구조는 모델 지식 증류에 자연스럽게 적합하며, 다양한 지식 증류 기법을 적용하여 생성을 가속할 수 있다. 우리는 실험적으로 LFM이 표 형식 및 이미지 데이터셋의 비조건부 생성과 로봇 조작 정책의 조건부 생성에서 FM과 비교해 경쟁력 있는 생성 성능을 달성함을 보인다.
CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment
Dense Audio-Visual Event Localization under Cross-Modal Consistency and Multi-Temporal Granularity Collaboration
Enhancing Sound Source Localization via False Negative Elimination
MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
EquiAV: Leveraging Equivariance for Audio-Visual Contrastive Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.