PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.03762v5eess.AS

시각적 가이드 기반 음향 강조를 위한 조건부 흐름 매칭

Conditional Flow Matching for Visually-Guided Acoustic Highlighting

시각적 가이드 기반 음향 강조(Visually-guided acoustic highlighting)는 동반되는 영상에 맞춰 오디오의 밸런스를 재조정하여 일관된 시청각 경험을 만드는 것을 목표로 한다. 시각적 돌출도(saliency) 및 향상은 널리 연구되어 온 반면, 음향 강조는 여전히 충분히 탐구되지 않아 시각적 초점과 청각적 초점 간의 불일치가 자주 발생한다. 기존 접근 방식들은 판별 모델(discriminative model)을 사용하지만, 이는 불균형한 오디오 믹스와 균형 잡힌 오디오 믹스 사이에 자연스러운 일대일 매핑이 존재하지 않는 오디오 리믹싱 고유의 모호성을 처리하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해, 본 연구는 이 작업을 생성 문제로 재구성하고 조건부 흐름 매칭(CFM, Conditional Flow Matching) 프레임워크를 도입한다. 반복적인 흐름 기반 생성의 주요 과제는 향상할 올바른 소스를 선택하는 과정에서의 초기 예측 오류가 단계를 거치며 누적되어 궤적을 다양체(manifold) 밖으로 벗어나게 한다는 점이다. 이를 해결하기 위해 본 논문에서는 최종 단계에서의 이탈에 페널티를 부과하여 궤적의 자체 교정을 유도하고 장거리 흐름 적분을 안정화하는 롤아웃 손실(rollout loss)을 도입한다. 또한 벡터장(vector field) 회귀 이전에 시청각 단서를 융합하여 명시적인 크로스모달 소스 선택을 가능하게 하는 조건화 모듈을 제안한다. 광범위한 정량적 및 정성적 평가 결과, 본 방법은 기존 최고 수준(SOTA)의 판별 접근 방식을 지속적으로 능가하며 시각적 가이드 기반 오디오 리믹싱이 생성 모델링을 통해 가장 잘 해결될 수 있음을 입증한다.