Rectified Flow를 통한 명령어 기반 오디오 편집을 위한 하이브리드 디퓨전 트랜스포머
Hybrid Diffusion Transformer for Instruction-Guided Audio Editing via Rectified Flow
오디오 편집은 나머지 음향 콘텐츠를 보존하면서 자연어 명령어에 따라 기존 오디오 클립의 특정 콘텐츠를 수정하는 것을 목표로 합니다. 디퓨전 모델의 획기적인 발전에도 불구하고, 기존 학습 기반 편집 방법들은 주로 합성곱 U-Net 백본의 국소적 편향(local inductive biases)과 크로스 어텐션(cross-attention) 상호작용에 의존하며, 이는 장거리 의미 정렬과 명령어의 정확한 이해 및 지역화를 종종 저해합니다. 대조적으로, 디퓨전 트랜스포머는 더 강력한 전역 모델링과 멀티모달 융합을 제공하지만, 기존 편집 아키텍처는 일반적으로 MMDiT와 DiT 블록의 단순한 스택을 채택합니다. 모든 블록에서 연결된 오디오 및 텍스트 토큰에 대해 조인트 어텐션(joint attention)을 적용하면 토큰 길이에 대해 이차적인 복잡도가 발생합니다. 편집 성능과 효율성의 균형을 맞추기 위해, 우리는 Rectified Flow 매칭을 기반으로 명령어 기반 오디오 편집을 위한 하이브리드 2단계 디퓨전 트랜스포머 아키텍처를 제안합니다. 이 방법은 저해상도 단계에서 대략적인 의미 정렬을 수립하기 위해 오디오 및 텍스트 토큰에 대해 조인트 어텐션을 수행한 다음, 고해상도 단계에서 편집 세부 사항을 정제하기 위해 교대로 조인트 어텐션 및 크로스 어텐션 블록으로 전환합니다. 이 coarse-to-fine 전략은 효율적이고 정확한 명령어 기반 오디오 편집을 가능하게 합니다. 실험 결과, 제안된 프레임워크는 중첩된 오디오 이벤트와 복잡한 명령어가 포함된 어려운 편집 작업에서 두드러진 성능 향상을 달성하면서, 컴팩트한 모델로 편집 효율성을 상당히 개선하는 것으로 나타났습니다.