arXiv:2606.12555v1 cs.SD

AudioX-Turbo: 효율적인 Anything-to-Audio 생성을 위한 통합 프레임워크

AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation

Zeyue Tian, Lei Ke, Zhaoyang Liu, Ruibin Yuan, Liumeng Xue, Yujiu Yang, Weijia Chen, Xu Tan, Qifeng Chen, Wei Xue, Yike Guo

제출 2026-06-10

한국어 초록

유연한 멀티모달 제어 신호에 기반한 오디오 및 음악 생성은 널리 적용 가능한 주제이나, 다음과 같은 주요 과제가 존재합니다: 1) 통합 멀티모달 모델링 프레임워크, 2) 대규모 고품질 학습 데이터, 3) 다단계 확산 샘플링의 과도한 추론 비용. 이에 본 연구에서는 텍스트, 비디오, 오디오 신호 등 다양한 멀티모달 조건을 통합하는 anything-to-audio 생성을 위한 통합적이고 효율적인 프레임워크인 AudioX-Turbo를 제안합니다. AudioX-Turbo는 교사-학생 패러다임을 따릅니다. 교사 모델 AudioX-Base는 고충실도 합성을 위해 다양한 멀티모달 입력을 정렬하는 멀티모달 적응형 융합(Multimodal Adaptive Fusion) 모듈을 갖춘 멀티모달 확산 트랜스포머(Multimodal Diffusion Transformer)로 구축되었으며, 플로우 매칭(flow matching)에 적응된 분포 매칭 증류(Distribution Matching Distillation)를 통해 소수 단계 학생 모델 AudioX-Turbo로 증류되고, 고품질 소수 단계 생성을 위해 확산 기반 판별자로 보완됩니다. AudioX-Turbo의 학습을 지원하기 위해, 2단계 데이터 수집 및 주석 파이프라인을 통해 선별된 약 920만 개의 샘플로 구성된 대규모 고품질 데이터셋 IF-caps-Pro를 구축했습니다. 다양한 작업에 걸쳐 AudioX-Turbo를 벤치마킹한 결과, 본 모델이 단 4개의 샘플링 단계에서만 동작하며 다단계 기준 모델보다 약 25배 적은 함수 평가(NFE)만을 요구함에도 불구하고, 특히 텍스트-투-오디오 및 텍스트-투-뮤직 생성에서 우수한 성능을 달성함을 확인했습니다. 이러한 결과는 본 방법이 유연한 멀티모달 제어 하에서 오디오 생성이 가능하며, 효율적이고 강력한 인스트럭션 따르기(instruction-following) 능력을 보여줌을 입증합니다. 코드와 데이터셋은 https://zeyuet.github.io/AudioX-Turbo/ 에서 제공될 예정입니다.

원문 초록

Audio and music generation based on flexible multimodal control signals is a widely applicable topic, with the following key challenges: 1) a unified multimodal modeling framework, 2) large-scale, high-quality training data, and 3) the prohibitive inference cost of multi-step diffusion sampling. As such, we propose AudioX-Turbo, a unified and efficient framework for anything-to-audio generation that integrates varied multimodal conditions (i.e., text, video, and audio signals) in this work. AudioX-Turbo follows a teacher-student paradigm. The teacher AudioX-Base is built on a Multimodal Diffusion Transformer with a Multimodal Adaptive Fusion module that aligns diverse multimodal inputs for high-fidelity synthesis, and is then distilled into the few-step student AudioX-Turbo via Distribution Matching Distillation adapted to flow matching, complemented by a diffusion-based discriminator for high-quality few-step generation. To support the training of AudioX-Turbo, we construct a large-scale, high-quality dataset, IF-caps-Pro, comprising approximately 9.2M samples curated through a two-stage data collection and annotation pipeline. We benchmark AudioX-Turbo across a wide range of tasks, finding that our model achieves superior performance, especially on text-to-audio and text-to-music generation, while operating at only 4 sampling steps and requiring approximately 25x fewer function evaluations (NFE) than multi-step baselines. These results demonstrate that our method is capable of audio generation under flexible multimodal control, showing efficient and powerful instruction-following capabilities. The code and datasets will be available at https://zeyuet.github.io/AudioX-Turbo/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12555v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11364v1cs.LG공통 태그 Audio Generation, text-to-audio

BackgroundMellow: 내러티브 기반 풍부한 영화적 사운드스케이프 생성을 위한 멀티모달 통합 프레임워크

BackgroundMellow: A Multi-Modal Cohesive Framework for Narrative-Driven Rich Cinematic Soundscape Generation

장문의 텍스트 내러티브에 대해 몰입감 있고 동기화된 영화적 오디오를 생성하는 것은 멀티모달 AI에서 여전히 중요한 과제로 남아 있다. 현재의 텍스트-투-오디오(TTA) 프레임워크는 개별 음향 효과 합성에는 성공적이지만, 내러티브 응집성, 시간적 정렬, 영화적 감성 깊이 구현에 어려움을 겪고 있다. 우리는 스토리-투-오디오 생성을 정밀한 오케스트레이션 및 신호 처리 문제로 다루는 프레임워크인 BackgroundMellow를 제안한다. 이 프레임워크는 마스터-스페셜리스트 에이전트 아키텍처를 통해 정답 데이터 없이 구현되며, 텍스트를 정밀하고 다층적인 오디오 큐로 분해하고, 각 카테고리의 음향을 적합한 스페셜리스트 모델로 생성한 뒤, 사운드스케이프를 중첩하여 통합되고 정렬된 오디오 세그먼트를 만든다. 우리의 파이프라인은 환경음 합성을 위한 Tango2 잠재 확산 모델과 전문 사운드트랙에서 수집한 새로운 영화적 BGM 검색기를 기반으로 구축되었다. 사운드 믹싱 과정을 자동화하기 위해 내러티브 타임라인을 기반으로 시작 시간, 지속 시간, 상대적 음량 등 정밀한 오디오 파라미터를 예측하는 자연어 처리(NLP) 기반 모듈을 사용한다. 또한 시간적 동기화, 커버리지, 스펙트럼 풍부도를 측정하기 위해 엄선된 유튜브 영화 트레일러 데이터셋 대비 최근접 이웃 검색을 활용하여 제안된 프레임워크의 효과를 실증적으로 평가하고 입증한다.

arXiv:2607.09973v1cs.SD공통 태그 Audio Generation, text-to-audio

SFX 생성 평가를 위한 프로덕션 지향 프레임워크

A Production-Oriented Framework for Evaluation of SFX Generation

산업용 사운드 디자인은 현실감 있는 오디오를 생성할 뿐만 아니라 레퍼런스의 지각적 정체성을 보존하고, 제어 가능한 변형을 지원하며, 실용적인 워크플로우에서 효율적으로 동작하는 오디오 생성 시스템을 필요로 한다. 기존 평가는 대부분 텍스트-투-오디오(TTA), 비조건부(unconditional), 또는 태스크 특화 설정에 국한되어 있어, 레퍼런스 기반 음향 효과(SFX) 변형에 대한 평가를 제한한다. 이러한 격차를 해소하기 위해, 우리는 이질적인 오디오 생성 및 편집 방법을 구조적으로 비교하기 위한 프로덕션 지향 평가 프레임워크를 제안한다. 본 프레임워크는 아홉 가지 프로덕션 요구사항을 식별하고 모델 역량의 차이를 명시적으로 반영하여, 공통 프로덕션 목표 하에서의 비교를 가능하게 한다. 두 단계 프로토콜이 도입된다: (1) 레퍼런스 기반 오디오-투-오디오(ATA) 변형 태스크로, 모든 방법이 동일한 ESC-50 SFX 적응 설정 하에서 평가되며, (2) SFX 모핑(morphing), 시간적·에너지 정렬, 인페인팅(inpainting), 목표 편집 등 고유 연산에 대한 역량별 분석이 수행된다. 본 프레임워크는 객관적 지표(FAD, ImageBind 기반 레퍼런스 정렬, 생성 변형 간 다양성 포함)와 지각적 정체성 보존 및 트랜지언트(transient) 진단에 관한 사용자 연구를 결합한다. 연구 결과, 다양한 프로덕션 요구에 따라 베이스라인들 간의 상호 보완적 강점과 트레이드오프가 드러났다. 공유된 ATA 설정 하에서 평가된 완전 생성 베이스라인 중 AudioX가 레퍼런스 정렬과 다양성 간의 전반적 트레이드오프에서 가장 우수한 성능을 보이면서도 SFX 모핑을 지원한다. 다른 베이스라인들은 특정 편집 연산에 가장 적합한 것으로 나타났다. 본 프레임워크는 레퍼런스 기반 SFX 변형을 위한 구조적 평가 및 의사결정 프로토콜을 확립하고, 미래의 통합 산업용 오디오 생성 파이프라인 설계를 위한 실용적 기반을 제공한다. 오디오 데모는 제공된 웹 페이지에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.