Rectified Flow를 통한 명령어 기반 오디오 편집을 위한 하이브리드 디퓨전 트랜스포머
Hybrid Diffusion Transformer for Instruction-Guided Audio Editing via Rectified Flow
한국어 초록
오디오 편집은 나머지 음향 콘텐츠를 보존하면서 자연어 명령어에 따라 기존 오디오 클립의 특정 콘텐츠를 수정하는 것을 목표로 합니다. 디퓨전 모델의 획기적인 발전에도 불구하고, 기존 학습 기반 편집 방법들은 주로 합성곱 U-Net 백본의 국소적 편향(local inductive biases)과 크로스 어텐션(cross-attention) 상호작용에 의존하며, 이는 장거리 의미 정렬과 명령어의 정확한 이해 및 지역화를 종종 저해합니다. 대조적으로, 디퓨전 트랜스포머는 더 강력한 전역 모델링과 멀티모달 융합을 제공하지만, 기존 편집 아키텍처는 일반적으로 MMDiT와 DiT 블록의 단순한 스택을 채택합니다. 모든 블록에서 연결된 오디오 및 텍스트 토큰에 대해 조인트 어텐션(joint attention)을 적용하면 토큰 길이에 대해 이차적인 복잡도가 발생합니다. 편집 성능과 효율성의 균형을 맞추기 위해, 우리는 Rectified Flow 매칭을 기반으로 명령어 기반 오디오 편집을 위한 하이브리드 2단계 디퓨전 트랜스포머 아키텍처를 제안합니다. 이 방법은 저해상도 단계에서 대략적인 의미 정렬을 수립하기 위해 오디오 및 텍스트 토큰에 대해 조인트 어텐션을 수행한 다음, 고해상도 단계에서 편집 세부 사항을 정제하기 위해 교대로 조인트 어텐션 및 크로스 어텐션 블록으로 전환합니다. 이 coarse-to-fine 전략은 효율적이고 정확한 명령어 기반 오디오 편집을 가능하게 합니다. 실험 결과, 제안된 프레임워크는 중첩된 오디오 이벤트와 복잡한 명령어가 포함된 어려운 편집 작업에서 두드러진 성능 향상을 달성하면서, 컴팩트한 모델로 편집 효율성을 상당히 개선하는 것으로 나타났습니다.
원문 초록
Audio editing aims to modify specific content in an existing audio clip according to a natural language instruction while preserving the remaining acoustic content. Despite the remarkable progress of diffusion models, existing training-based editing methods mainly rely on the local inductive biases and cross-attention interaction in convolutional U-Net backbones, which often hinder long-range semantic alignment and precise understanding and localization of instructions. In contrast, diffusion transformers provide stronger global modeling and multimodal fusion, but existing editing architectures usually adopt a simple stack of MMDiT and DiT blocks. Applying joint attention over concatenated audio and text tokens in all blocks results in quadratic complexity with respect to token length. To balance editing performance and efficiency, we propose a hybrid two-stage diffusion transformer architecture for instruction-guided audio editing based on rectified flow matching. It performs joint attention over audio and text tokens to establish coarse semantic alignment at low-resolution stage, then switches to alternating joint-attention and cross-attention blocks to refine editing details at high-resolution stage. This coarse-to-fine strategy enables efficient and accurate instruction-guided audio editing. Experiments show that the proposed framework achieves notable performance gains on challenging editing tasks involving overlapping audio events and complex instructions, while substantially improving editing efficiency with a compact model.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20101v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM-as-a-Tutor: 비검증 강화학습을 위한 정책 인식 프롬프트 적응
LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
PRISM: Stress-Testing Alignment-Faking Claims
HyperVAttention: 비디오 디퓨전을 위한 시공간 클러스터링 기반 효율적인 희소 어텐션
HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion
CLAP: 언어-행동 그라운딩을 통한 직접적인 VLM-to-VLA 적응
CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.