PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13408v1eess.AS

오디오 인지 대규모 언어 모델의 세밀한 피드백을 통한 텍스트-투-오디오 인스트럭션 준수 개선

Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models

최근 텍스트-투-오디오 모델은 고품질 오디오를 생성하지만, 여러 사운드 이벤트와 시간적 순서를 포함하는 인스트럭션을 따르지 못하는 경우가 많다. 이 격차는 기존 평가 및 학습 신호가 주로 전역 유사도나 지각적 품질에 중점을 두고, 인스트럭션 수준의 정확성에 대한 감독이 제한적이기 때문에 발생한다. 우리는 생성된 오디오에서 대상 이벤트의 존재와 시간적 관계를 검증하기 위해 오디오 인지 대규모 언어 모델(ALLM)을 세밀한 판정기로 사용하는 인스트럭션 수준 프레임워크를 제안한다. 벤치마크와 인간 검증을 통해 ALLM 판정을 검증한 후, 이들의 피드백을 사용해 직접 선호 최적화를 위한 선호 쌍을 구성한다. 또한 다중 이벤트 시간적 인스트럭션 준수를 평가하기 위한 내러티브 벤치마크인 S3Bench를 도입한다. 실험 결과, 제안 방법은 기존 벤치마크와 S3Bench 전반에서 이벤트 완전성, 시간적 순서, 그리고 결합 인스트럭션 준수 정확도를 향상시키면서 오디오 품질을 유지하는 것으로 나타났다.

arXiv:2607.13330v1eess.AS

가지치기를 통한 효율적인 텍스트-투-오디오 생성

Efficient Text-to-Audio Generation via Pruning

AudioLDM과 같은 확산 기반 텍스트-투-오디오 생성 모델은 높은 지각 품질과 강한 의미적 일관성을 달성하지만, U-Net 디노이징(denoising) 백본의 상당한 계산 비용으로 인해 실용적 배포가 어렵다. 본 연구에서는 U-Net 기반 텍스트 조건부 오디오 잠재 확산 모델인 AudioLDM의 계산 효율성을 높이기 위해 모델 가지치기(model pruning)를 적용한다. U-Net 합성곱 블록 전반의 매개변수(parameter) 중복을 분석하고 필터 가지치기(filter-pruning) 전략을 평가한다. 가지치기는 노름 기반 기준에 따라 수행되며, 성능 저하를 회복하기 위해 경량 파인튜닝(fine-tuning)이 이어진다. 실험 결과, U-Net의 매개변수를 최대 83%, 곱-누산 연산(multiply-accumulate operations)을 39%까지 줄였음에도 가지치기하지 않은 기준선(baseline) 네트워크와 비교해 생성 품질을 유지했으며 일부 경우에는 개선되었다. 가지치기는 총성, 사이렌, 폭발과 같은 안전에 중요한(safety-critical) 소리를 비롯해 드릴, 재봉틀과 같은 기계음, 분사음, 똑딱거리는 소리 등 특정 사운드 이벤트 생성 능력에 영향을 미치는 것으로 나타났으며, 이러한 영향은 대부분 가지치기된 모델의 경량 파인튜닝으로 회복되었다.

arXiv:2607.11364v1cs.LG

BackgroundMellow: 내러티브 기반 풍부한 영화적 사운드스케이프 생성을 위한 멀티모달 통합 프레임워크

BackgroundMellow: A Multi-Modal Cohesive Framework for Narrative-Driven Rich Cinematic Soundscape Generation

장문의 텍스트 내러티브에 대해 몰입감 있고 동기화된 영화적 오디오를 생성하는 것은 멀티모달 AI에서 여전히 중요한 과제로 남아 있다. 현재의 텍스트-투-오디오(TTA) 프레임워크는 개별 음향 효과 합성에는 성공적이지만, 내러티브 응집성, 시간적 정렬, 영화적 감성 깊이 구현에 어려움을 겪고 있다. 우리는 스토리-투-오디오 생성을 정밀한 오케스트레이션 및 신호 처리 문제로 다루는 프레임워크인 BackgroundMellow를 제안한다. 이 프레임워크는 마스터-스페셜리스트 에이전트 아키텍처를 통해 정답 데이터 없이 구현되며, 텍스트를 정밀하고 다층적인 오디오 큐로 분해하고, 각 카테고리의 음향을 적합한 스페셜리스트 모델로 생성한 뒤, 사운드스케이프를 중첩하여 통합되고 정렬된 오디오 세그먼트를 만든다. 우리의 파이프라인은 환경음 합성을 위한 Tango2 잠재 확산 모델과 전문 사운드트랙에서 수집한 새로운 영화적 BGM 검색기를 기반으로 구축되었다. 사운드 믹싱 과정을 자동화하기 위해 내러티브 타임라인을 기반으로 시작 시간, 지속 시간, 상대적 음량 등 정밀한 오디오 파라미터를 예측하는 자연어 처리(NLP) 기반 모듈을 사용한다. 또한 시간적 동기화, 커버리지, 스펙트럼 풍부도를 측정하기 위해 엄선된 유튜브 영화 트레일러 데이터셋 대비 최근접 이웃 검색을 활용하여 제안된 프레임워크의 효과를 실증적으로 평가하고 입증한다.

arXiv:2607.09973v1cs.SD

SFX 생성 평가를 위한 프로덕션 지향 프레임워크

A Production-Oriented Framework for Evaluation of SFX Generation

산업용 사운드 디자인은 현실감 있는 오디오를 생성할 뿐만 아니라 레퍼런스의 지각적 정체성을 보존하고, 제어 가능한 변형을 지원하며, 실용적인 워크플로우에서 효율적으로 동작하는 오디오 생성 시스템을 필요로 한다. 기존 평가는 대부분 텍스트-투-오디오(TTA), 비조건부(unconditional), 또는 태스크 특화 설정에 국한되어 있어, 레퍼런스 기반 음향 효과(SFX) 변형에 대한 평가를 제한한다. 이러한 격차를 해소하기 위해, 우리는 이질적인 오디오 생성 및 편집 방법을 구조적으로 비교하기 위한 프로덕션 지향 평가 프레임워크를 제안한다. 본 프레임워크는 아홉 가지 프로덕션 요구사항을 식별하고 모델 역량의 차이를 명시적으로 반영하여, 공통 프로덕션 목표 하에서의 비교를 가능하게 한다. 두 단계 프로토콜이 도입된다: (1) 레퍼런스 기반 오디오-투-오디오(ATA) 변형 태스크로, 모든 방법이 동일한 ESC-50 SFX 적응 설정 하에서 평가되며, (2) SFX 모핑(morphing), 시간적·에너지 정렬, 인페인팅(inpainting), 목표 편집 등 고유 연산에 대한 역량별 분석이 수행된다. 본 프레임워크는 객관적 지표(FAD, ImageBind 기반 레퍼런스 정렬, 생성 변형 간 다양성 포함)와 지각적 정체성 보존 및 트랜지언트(transient) 진단에 관한 사용자 연구를 결합한다. 연구 결과, 다양한 프로덕션 요구에 따라 베이스라인들 간의 상호 보완적 강점과 트레이드오프가 드러났다. 공유된 ATA 설정 하에서 평가된 완전 생성 베이스라인 중 AudioX가 레퍼런스 정렬과 다양성 간의 전반적 트레이드오프에서 가장 우수한 성능을 보이면서도 SFX 모핑을 지원한다. 다른 베이스라인들은 특정 편집 연산에 가장 적합한 것으로 나타났다. 본 프레임워크는 레퍼런스 기반 SFX 변형을 위한 구조적 평가 및 의사결정 프로토콜을 확립하고, 미래의 통합 산업용 오디오 생성 파이프라인 설계를 위한 실용적 기반을 제공한다. 오디오 데모는 제공된 웹 페이지에서 확인할 수 있다.

arXiv:2607.00309v1cs.SD

A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models

자연어 장면 묘사를 절차적 사운드스케이프(procedural soundscape)로 실시간 변환하는 음악 인터페이스를 제시하며, 대규모 언어 모델(LLM)이 원시 오디오 대신 해석 가능한 34개 필드의 카테고리형 설정 스키마를 생성해 퍼포머가 밝기·리듬 등의 파라미터를 즉각 조정할 수 있게 한다. 임베딩 검색·외부 LLM API·270M 로컬 파인튜닝 모델의 세 가지 백엔드를 지원하는 라이브 제너레이터 아키텍처는 새 설정을 백그라운드에서 처리하는 동안 오디오를 끊김 없이 유지하며, LAION-CLAP 평가에서 검색 기반 설정이 무작위 유효 설정보다 높은 텍스트-오디오 의미 정렬 점수를 기록했다.

arXiv:2606.31259v1cs.SD

SwiftAudio: Data-Efficient Caption-Only Distillation for One-Step Text-to-Audio Diffusion-based Generation

SwiftAudio는 사전학습된 다중 스텝 텍스트-오디오(TTA) 확산 모델을 오디오 없이 텍스트 캡션만으로 지식 증류하여 단일 스텝 생성기를 학습하는 프레임워크로, Variational Score Distillation(VSD)을 오디오 도메인에 적용하고 시간적 평활화 정규화 목적 함수를 도입하였다. 약 45K개의 캡션만으로 AudioCaps와 Clotho에서 엄격한 단일 스텝 방법 중 최고 성능을 달성하며 다중 스텝 확산 시스템과의 품질 격차를 크게 줄였다.

arXiv:2606.19325v1cs.SD

실제 환경(In-the-wild) 사전 지식을 활용한 참조 기반 다화자 오디오 장면 생성

Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors

ScenA는 대규모 in-the-wild 데이터로 사전학습된 텍스트-오디오 flow-matching 파운데이션 모델에 여러 참조 음성과 자유 형식 장면 설명 프롬프트를 조건으로 걸어, 턴별 구조 없이 다화자 대화·겹치는 발화·환경음이 포함된 오디오 장면을 생성한다. 학습 시 참조 음성만으로 화자를 맞추는 Reference Shortcut을 고노이즈 편향 timestep 분포로 완화했으며, CoVoMix2-Dialogue에서 화자 바인딩 지표가 기존 다화자 시스템을 능가한다.

arXiv:2606.12555v1cs.SD

AudioX-Turbo: 효율적인 Anything-to-Audio 생성을 위한 통합 프레임워크

AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation

유연한 멀티모달 제어 신호에 기반한 오디오 및 음악 생성은 널리 적용 가능한 주제이나, 다음과 같은 주요 과제가 존재합니다: 1) 통합 멀티모달 모델링 프레임워크, 2) 대규모 고품질 학습 데이터, 3) 다단계 확산 샘플링의 과도한 추론 비용. 이에 본 연구에서는 텍스트, 비디오, 오디오 신호 등 다양한 멀티모달 조건을 통합하는 anything-to-audio 생성을 위한 통합적이고 효율적인 프레임워크인 AudioX-Turbo를 제안합니다. AudioX-Turbo는 교사-학생 패러다임을 따릅니다. 교사 모델 AudioX-Base는 고충실도 합성을 위해 다양한 멀티모달 입력을 정렬하는 멀티모달 적응형 융합(Multimodal Adaptive Fusion) 모듈을 갖춘 멀티모달 확산 트랜스포머(Multimodal Diffusion Transformer)로 구축되었으며, 플로우 매칭(flow matching)에 적응된 분포 매칭 증류(Distribution Matching Distillation)를 통해 소수 단계 학생 모델 AudioX-Turbo로 증류되고, 고품질 소수 단계 생성을 위해 확산 기반 판별자로 보완됩니다. AudioX-Turbo의 학습을 지원하기 위해, 2단계 데이터 수집 및 주석 파이프라인을 통해 선별된 약 920만 개의 샘플로 구성된 대규모 고품질 데이터셋 IF-caps-Pro를 구축했습니다. 다양한 작업에 걸쳐 AudioX-Turbo를 벤치마킹한 결과, 본 모델이 단 4개의 샘플링 단계에서만 동작하며 다단계 기준 모델보다 약 25배 적은 함수 평가(NFE)만을 요구함에도 불구하고, 특히 텍스트-투-오디오 및 텍스트-투-뮤직 생성에서 우수한 성능을 달성함을 확인했습니다. 이러한 결과는 본 방법이 유연한 멀티모달 제어 하에서 오디오 생성이 가능하며, 효율적이고 강력한 인스트럭션 따르기(instruction-following) 능력을 보여줌을 입증합니다. 코드와 데이터셋은 https://zeyuet.github.io/AudioX-Turbo/ 에서 제공될 예정입니다.