부정적 오디오 가이던스를 통한 단계별 비디오-오디오 합성
Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance
우리는 생성 과정에 대한 더욱 세밀한 제어와 더욱 현실적인 오디오 합성을 제공하는 단계별 비디오-오디오(V2A) 생성 방법을 제안한다. 전통적인 폴리(Foley) 워크플로에서 영감을 받은 본 접근법은 보완적인 사운드를 점진적으로 생성할 수 있게 하여, 사용자가 비디오에 의해 유발된 여러 사운드 이벤트를 저작할 수 있도록 한다. 비용이 많이 드는 다중 참조 비디오-오디오 데이터셋의 필요성을 피하기 위해, 각 생성 단계는 이전에 생성된 트랙에 이미 존재하는 사운드의 중복을 억제하는 부정적 가이던스 V2A 프로세스로 공식화된다. 가이던스 모델은 동일 비디오의 비중첩 구간에서 추출한 오디오 쌍을 이용해 사전학습된 V2A 모델을 파인튜닝하여 학습되며, 시각적 그라운딩을 유지하면서 음향적 컨텍스트를 활용하도록 장려하고, 표준 단일 참조 시청각 데이터셋으로의 학습을 가능하게 한다. 객관적 및 주관적 평가를 통해 본 방법이 각 단계에서 생성된 사운드의 분리 가능성을 향상시키고 최종 복합 오디오의 전체적인 품질을 개선하며 기존 기준선을 능가함을 입증한다. 프로젝트 페이지: https://ahykw.github.io/sbsv2a/