PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20101v1cs.SD

Rectified Flow를 통한 명령어 기반 오디오 편집을 위한 하이브리드 디퓨전 트랜스포머

Hybrid Diffusion Transformer for Instruction-Guided Audio Editing via Rectified Flow

오디오 편집은 나머지 음향 콘텐츠를 보존하면서 자연어 명령어에 따라 기존 오디오 클립의 특정 콘텐츠를 수정하는 것을 목표로 합니다. 디퓨전 모델의 획기적인 발전에도 불구하고, 기존 학습 기반 편집 방법들은 주로 합성곱 U-Net 백본의 국소적 편향(local inductive biases)과 크로스 어텐션(cross-attention) 상호작용에 의존하며, 이는 장거리 의미 정렬과 명령어의 정확한 이해 및 지역화를 종종 저해합니다. 대조적으로, 디퓨전 트랜스포머는 더 강력한 전역 모델링과 멀티모달 융합을 제공하지만, 기존 편집 아키텍처는 일반적으로 MMDiT와 DiT 블록의 단순한 스택을 채택합니다. 모든 블록에서 연결된 오디오 및 텍스트 토큰에 대해 조인트 어텐션(joint attention)을 적용하면 토큰 길이에 대해 이차적인 복잡도가 발생합니다. 편집 성능과 효율성의 균형을 맞추기 위해, 우리는 Rectified Flow 매칭을 기반으로 명령어 기반 오디오 편집을 위한 하이브리드 2단계 디퓨전 트랜스포머 아키텍처를 제안합니다. 이 방법은 저해상도 단계에서 대략적인 의미 정렬을 수립하기 위해 오디오 및 텍스트 토큰에 대해 조인트 어텐션을 수행한 다음, 고해상도 단계에서 편집 세부 사항을 정제하기 위해 교대로 조인트 어텐션 및 크로스 어텐션 블록으로 전환합니다. 이 coarse-to-fine 전략은 효율적이고 정확한 명령어 기반 오디오 편집을 가능하게 합니다. 실험 결과, 제안된 프레임워크는 중첩된 오디오 이벤트와 복잡한 명령어가 포함된 어려운 편집 작업에서 두드러진 성능 향상을 달성하면서, 컴팩트한 모델로 편집 효율성을 상당히 개선하는 것으로 나타났습니다.

arXiv:2606.07356v1cs.SD

DirectAudioEdit: 확산 예측 대비를 통한 인버전 없는 텍스트 기반 오디오 편집

DirectAudioEdit: Inversion-Free Text-Guided Audio Editing via Diffusion Prediction Contrast

텍스트 기반 오디오 편집은 편집과 무관한 원본 구성 요소를 보존하면서 언어로 지정된 음향 콘텐츠를 수정하는 것을 목표로 합니다. 기존의 학습 없는(training-free) 방법들은 주로 인버전(inversion) 기반 편집에 의존합니다. 인버전 없는 편집은 계산 오버헤드와 재구성 오차를 줄여주기 때문에 매력적이지만, 오디오 편집 분야에서는 대부분 탐구되지 않은 상태로 남아 있습니다. 핵심 과제는 확산 디노이징(denoising) 역학을 통해 원본에서 목표로의 편집 경로를 구성하는 것입니다. 본 논문에서는 오디오 편집을 위한 학습 없고 인버전 없는 방법을 개발하려는 첫 번째 시도인 DirectAudioEdit을 소개합니다. 두 가지 백본(backbone)에 걸친 음악 및 이벤트 수준 벤치마크(benchmark)에 대한 실험 결과, DirectAudioEdit은 DDPM 인버전과 비교하여 매크로 평균 FAD와 KL을 각각 15.9%와 15.8% 감소시키면서 최대 64.5%의 편집 속도 향상을 달성함을 보여줍니다.

arXiv:2606.07229v1cs.SD

MMAE: 대규모 멀티태스크 오디오 편집 벤치마크

MMAE: A Massive Multitask Audio Editing Benchmark

우리는 범용 인스트럭션 기반 오디오 편집을 위해 설계된 최초의 포괄적인 평가 테스트베드인 대규모 멀티태스크 오디오 편집 벤치마크인 MMAE를 소개합니다. 지능형 창작으로의 전환에 힘입어, 대화형 편집은 이미지를 위한 Nano-banana 2와 비디오를 위한 Gemini-Omni와 같은 모델들이 개척한 시각 영역에서 오디오로 급속히 확장되었습니다. 그러나 현재 평가 인프라는 심각하게 뒤처져 있으며, 여전히 고도로 파편화되어 있고 특정 하위 도메인이나 기본 작업으로 제한되어 있습니다. 범위가 제한된 기존 벤치마크와 달리, MMAE는 소리, 음성, 음악 및 이들의 혼합을 포함하여 7가지의 독특한 오디오 모달리티를 아우르는 광범위한 실제 시나리오로 확장됩니다. 또한, 우리는 기본 수정부터 멀티홉 추론 및 멀티라운드 편집에 이르는 6단계의 작업 복잡도, 2단계의 세분성, 그리고 8가지의 독특한 작업 유형에 걸친 포괄적인 분류 체계를 확립했습니다. 인간-에이전트 협업을 통해 면밀하게 큐레이션된 MMAE는 2,000개의 고충실도 샘플로 구성되어 있으며, 선구적인 루브릭 기반 평가 프레임워크와 짝을 이룹니다. 자유 형식 작업을 17,741개의 검증 가능한 기준으로 분해함으로써, 이 강력한 루브릭 기반 패러다임은 인스트럭션 추종과 문맥 일관성 모두에 대한 정밀하고 다차원적인 평가를 가능하게 합니다. 선도적인 모델들에 대한 우리의 광범위한 평가는 현재 시스템들이 신뢰할 수 있는 편집을 달성하는 데에는 여전히 거리가 멀다는 것을 밝혀냈습니다. 놀랍게도, 정확 일치율(EMR)은 지속적으로 5% 미만으로 떨어지며, 복잡한 혼합 모달리티 작업에서는 절대적인 0%로 급락하여, 정밀한 실행과 구조적 견고성에 있어 중대한 병목 현상을 드러냈습니다. 우리는 MMAE가 지능형 창작 커뮤니티의 향후 발전을 위한 촉매제가 되기를 바라며, 차세대 오디오 편집 시스템을 위한 명확한 진단 로드맵을 제공하고 표준화되고 지속 가능한 평가 패러다임을 수립할 수 있기를 기대합니다.