WaveTransfer: A Flexible End-to-end Multi-instrument Timbre Transfer with Diffusion
원문 초록
As diffusion-based deep generative models gain prevalence, researchers are actively investigating their potential applications across various domains, including music synthesis and style alteration. Within this work, we are interested in timbre transfer, a process that involves seamlessly altering the instrumental characteristics of musical pieces while preserving essential musical elements. This paper introduces WaveTransfer, an end-to-end diffusion model designed for timbre transfer. We specifically employ the bilateral denoising diffusion model (BDDM) for noise scheduling search. Our model is capable of conducting timbre transfer between audio mixtures as well as individual instruments. Notably, it exhibits versatility in that it accommodates multiple types of timbre transfer between unique instrument pairs in a single model, eliminating the need for separate model training for each pairing. Furthermore, unlike recent works limited to 16 kHz, WaveTransfer can be trained at various sampling rates, including the industry-standard 44.1 kHz, a feature of particular interest to the music community.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
마스크 이산 확산 모델에서 타우 리핑을 위한 스케줄 최적화
Schedule optimization for tau-leaping in masked discrete diffusion
마스크 확산(masked diffusion) 모델은 이산 분포를 위한 대표적인 생성 모델이다. 표준적인 자기회귀(autoregressive) 샘플링과 달리, 이 모델은 여러 좌표를 병렬로 드러내며 각 블록의 결합 조건부 법칙을 1차원 좌표 조건부들의 곱으로 근사한다. 통상적으로 타우 리핑(tau-leaping)이라 불리는 이러한 절차는 계산 비용을 줄이지만, 완벽하게 학습된 예측기가 주어지더라도 인수분해 오차($\varepsilon_\text{fact}$)를 유발한다. 본 연구에서는 고정된 샘플링 예산 내에서 $\varepsilon_\text{fact}$를 최소화하기 위해 노이즈 제거 스케줄을 선택하는 방법에 초점을 맞추어, 생성 정확도와 계산 비용 사이의 상충관계를 분석한다. 이를 위해 스케줄과 타깃의 의존성 구조를 분리하는 $\varepsilon_\text{fact}$의 정확한 적분 표현을 확립하고 이를 의존성 밀도 $ρ$로 요약한다. 이 표현식은 최적 스케줄에 대한 재귀적 정상성 방정식을 도출하며, $ρ$의 추정 오차가 스케줄 선택에 미치는 영향을 정량화할 수 있게 한다. 차원 $N$과 샘플링 예산이 증가함에 따라 최적 스케줄의 특성을 규명하고, 결정론적 플래너 대비 무작위 블록 크기의 비용을 정량화한다. 또한 본 연구는 근본적인 이분법을 제시한다. 즉, $N\to\infty$일 때 $ρ$가 엄격하게 양인 연속 프로파일로 균등 수렴하면 스케줄 최적화는 $\varepsilon_\text{fact}$의 최고차 계수만 개선할 수 있는 반면, $ρ$가 퇴화하면 스케줄 최적화가 점근적 차수 자체를 개선할 수 있음을 보인다. 정상 과정(stationary process) 및 교환 가능 혼합 모델에 기반한 예시들을 통해 이러한 영역들을 실증한다.
I-SplineFlow: 소수 스텝 생성을 위한 단조 스플라인 확률적 보간(Stochastic Interpolant) 스케줄러 학습
I-SplineFlow: Learning Monotone Spline Stochastic Interpolant Schedulers for Few-Step Generation
사전학습된 확산(diffusion) 및 플로우(flow) 모델을 이용한 소수 스텝(few-step) 생성은 네트워크가 아니라 샘플링 궤적을 최적화하는 경량 학습으로 가속할 수 있다. 최근의 한 접근법은 확률적 보간(stochastic interpolant, SI) 스케줄러를 부드러운 곡선으로 매개변수화하며, 이 곡선의 제어점은 SI 스케줄러가 만족해야 하는 세 가지 성질, 즉 고정된 경계 조건, 단조 신호 대 잡음비(SNR), 그리고 미분 가능성을 강제한다. 기존 매개변수화는 전역적으로 지지되는(globally supported) 다항식 기저를 사용하는데, 이 경우 모든 제어점이 곡선 전체를 움직이고 표현력을 높이려면 더 높은 차수가 필요하므로, 최적화 과정에서 스케줄의 멀리 떨어진 구간들이 서로 결합된다. 본 논문은 적분 단조 스플라인(integrated monotone splines, I-splines)으로 스케줄러를 매개변수화하는 *I-SplineFlow*를 제안한다. I-spline은 다항식 차수와 혼합 가중치(mixture weight)의 개수를 분리하므로, 가중치 개수를 고정한 채 모델마다 지지 폭(support width)과 매끄러움을 선택할 수 있으며, 컴팩트하게 지지되는 도함수 기저 덕분에 스케줄러 야코비안(Jacobian)의 조건수가 Bézier 기저보다 수 자릿수 더 좋다. 경계 조건과 엄격하게 단조인 SNR은 매개변수에 대한 순서 제약 없이 구성 자체로 보장되며, 속도(velocity)의 도함수는 닫힌 형태(closed-form)로 얻어진다. 확산(EDM) 모델과 플로우(ReFlow, Simple ReFlow) 모델 전반에서 I-SplineFlow는 대부분의 설정에서 Bézier 스케줄링보다 소수 스텝 FID를 개선하며, 특히 가장 낮은 NFE에서 그 개선이 가장 뚜렷하고, 학습에는 수 분밖에 걸리지 않는다. 절제 실험(ablation)은 차수의 자유도와 단조성 제약이 모두 필요함을 보여준다. 코드는 논문 채택 시 공개될 예정이다.
dLLM의 디노이징 궤적 최적화: 경량 진화 휴리스틱 접근
Optimizing Denoising Trajectories in dLLMs: A Lightweight Evolutionary Heuristic Approach
확산 대규모 언어 모델(dLLM)은 최근 기존 자기회귀(AR) 대규모 언어 모델(LLM)의 유망한 대안으로 부상했다. 양방향 어텐션과 병렬 디코딩을 활용함으로써 dLLM은 더 효율적인 생성을 가능하게 한다. 그러나 dLLM은 추론 시(학습 중에는 없음) 신중하게 설계된 디노이징 스케줄러를 필요로 하며, 그 선택은 생성 품질에 상당한 영향을 미친다. 신뢰도 기반 휴리스틱 스케줄러는 강력한 경험적 성능을 보여 왔지만, EOS Overflow와 Proximal Bias라는 두 가지 치명적인 실패 양상을 겪는다. 트랜스포머의 어텐션 패턴에 대한 심층 분석을 통해, 이러한 실패는 특정 위치가 유효하지 않은 토큰(예: [MASK] 및 [EOS])에 지나치게 높은 어텐션 가중치를 부여하여 잘못된 신뢰도 신호를 만들어내는 데서 비롯됨을 밝혔다. 이 통찰을 바탕으로, 유효한 어텐션 점수가 기존 신뢰도 기반 휴리스틱에 보완적 지침을 제공할 수 있음을 경험적 증거가 보여 주지만, 어떤 단일 지표도 모든 시나리오에서 일관되게 우수하지는 않아 최적의 디노이징 궤적이 맥락에 크게 의존함을 시사한다. 이 문제를 해결하기 위해 공분산 행렬 적응 진화 전략(CMA-ES)으로 최적화한 경량 진화 휴리스틱 스케줄러를 제안한다. 우리 스케줄러는 맥락적 mean-field 임베딩과 함께 여러 휴리스틱 특징을 동적으로 통합하며, 학습 가능 매개변수는 393개만 필요하다. LLaDA와 Dream에 대해 네 가지 추론 및 계획 벤치마크에서 평가한 결과, 우리 방법은 기존 휴리스틱, 블록 자기회귀 방법, 최근 최신(SOTA) 접근법을 포함한 강력한 기준선들을 일관되게 능가한다. 우리가 아는 한, 이는 지금까지 가장 매개변수 효율적인 신경 스케줄러이다. 코드는 https://github.com/RS2002/Evo-Denoise 에서 이용할 수 있다.
CrossDistill: 궤적 수준 하이브리드 소수 스텝 증류를 통한 품질과 다양성의 균형
CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
소수 스텝 증류(few-step distillation)는 디퓨전 모델(diffusion model)을 가속화하지만 다양성과 충실도(fidelity) 사이의 균형을 맞춰야 한다: 궤적 기반 증류(trajectory-based distillation)는 모드 커버리지(mode coverage)를 보존하는 반면, 분포 매칭(distribution matching)은 샘플을 선명하게 만들지만 다양성을 감소시킬 수 있다. 우리는 이러한 긴장 관계가 노이즈 영역(noise-regime)에 따라 활용될 수 있음을 보인다: 고노이즈(high-noise) 스텝은 전역적인 모드(global mode)를 대체로 결정하는 반면, 저노이즈(low-noise) 스텝은 국소적인 세부 사항을 정제한다. 우리는 샘플링 궤적을 교차점(crossover point)에서 분할하여 고노이즈 구간에는 궤적 보존(trajectory-preserving) 목적함수를, 저노이즈 구간에는 분포 매칭 목적함수를 적용하고, 이 두 단계를 교차 상태(crossover state)를 통해 결합하는 궤적 수준 하이브리드 증류 프레임워크인 CrossDistill을 제안한다. 손실(loss) 수준 혼합과 달리, 그리고 학습(training) 시점의 2단계 방식(training-time two-stage recipe)을 보완하는 방식으로, CrossDistill은 노이즈 축을 따라 상호 보완적인 목적함수를 명시적으로 할당함으로써, 국소 통계량이 선명해지기 전에 전역적 분기(global branching)가 보존되도록 한다. CrossDistill은 노이즈 수준의 스케줄링 정책(scheduling policy)으로, PCM과 DMD는 플러그인 형태의 구체적 구현(instantiation)이며, 노이즈 분할(noise partition), 교차 결합(crossover coupling), 목적함수 순서(objective ordering)가 핵심 설계 요소이다. 텍스트-투-비디오(text-to-video) 디퓨전 모델에 대한 실험과 이미지-투-비디오(image-to-video)에 대한 정성적 결과는 CrossDistill이 소수 스텝 품질-다양성 프런티어(quality-diversity frontier)를 확장하여, 경쟁력 있는 시각적 충실도를 달성하면서도 시드 수준(seed-level)의 변동성을 유지함을 보여준다.
스트리밍 비디오 확산 모델 재고찰: 컨텍스트, 실행, 학습
Rethinking Streaming Video Diffusion Model: Context, Execution, and Training
스트리밍 비디오 확산(diffusion)의 설계 공간을 이해하는 것은 생성 품질과 계산 효율성 측면에서의 잠재력을 탐구하는 데 필수적이다. 본 연구에서는 모델 및 샘플러 선택, 과거 이력 조건화(historical conditioning), 실행 스케줄링, 학습 전략을 서로 연관 짓는 통합 분석 프레임워크를 개발한다. 이 프레임워크는 광범위한 계열의 인과적(causal) 컨텍스트 선택 정책을 수용하며, 이들의 계산적 의존성과 학습-추론 정합성(training-inference alignment)을 명시적으로 드러낸다. 이 설계 공간 내에서 우리는 clean, same-level, progressive history라는 세 가지 대표적인 정책을 연구한다. 전체 VBench 프롬프트 세트에서 same-level history와 progressive history는 각각 85.24, 85.60의 종합 점수를 달성했으며, 이는 clean-history 기준선의 84.45와 비교된다. 장편 비디오 비교 실험에서는 progressive history가 피사체 일관성(subject consistency)을 향상시키고 더 일관된 움직임을 보여주었다. 여러 디노이징(denoising) 노드를 함께 처리할 수 있게 함으로써, progressive-history 파이프라이닝은 우리가 평가한 조건에서 정상 상태(steady-state) DiT 기준 1.57배에서 2.83배의 속도 향상을 달성했다. 또한 DMD fake-score 네트워크에 대한 LoRA 적응(adaptation)이 전체 매개변수(parameter) 적응 대비 단 2.15%의 학습 가능한 fake-score 매개변수만으로도 생성 품질을 향상시킨다는 것을 발견했다. 이러한 결과들은 완전히 디노이징된 이력(history)이 고품질 스트리밍 생성의 필수 조건이 아님을 보여주며, 과거 이력 조건화, 실행, 학습을 공동으로 설계할 필요성을 시사한다.
원자에서 엔트로피까지: 볼록 영역에서 확산 학습을 위한 최적 노이즈 할당
From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime
확산 모델은 어떤 노이즈 수준에서, 얼마나 학습해야 할까? 이 선택의 중요성에도 불구하고, 현재의 노이즈 스케줄은 대체로 휴리스틱이나 경험적 튜닝에 기반한다. 본 연구에서는 확산 학습에서 점근적으로 최적인 노이즈 수준 할당을 연구하기 위한 일반적인 통계적 프레임워크를 개발한다. 첫 번째 주요 결과는 서로 다른 시점 간에 정보가 전파될 수 있는 완전 결합 영역에 관한 것이다. 볼록성 또는 Polyak-Łojasiewicz형 가정 하에서, 최적화된 학습 스케줄이 유한 개의 노이즈 수준에 집중된 원자적 최소화자(atomic minimizer)를 갖음을 보인다. 두 번째 주요 결과는 신경망의 시간적 특화를 모델링하기 위한 이상화된 독립 학습자 영역에 이 프레임워크를 특수화한 것이다. 추가적인 특징-노이즈 분리 조건 하에서, 랜덤 행렬 분석은 정보 이론적 대리(proxy)로 이어진다: 분리된 샘플링 밀도는 생성적 엔트로피율, 즉 순방향 과정을 따라 조건부 엔트로피가 증가하는 비율의 제곱근에 비례한다. Dirac 혼합, 저차원 매니폴드, MNIST를 포함하여 결합 목적함수를 직접 최적화할 수 있는 통제된 설정에서 이러한 예측을 검증한다. 이러한 설정에서 최적화된 스케줄은 일관되게 유한 지원(finite-support)이며, 매끄러운 엔트로피 대리는 신경망 모델에서 원자적 최적값을 밀접하게 추적하고, 이론이 시사하는 바와 같이 주로 완전 결합 파라미터 경우에서 붕괴한다. 그런 다음 전체 스케줄 최적화가 현재 계산 불가능한 대규모 실험에서 엔트로피 스케줄을 평가한다. 결과는 제곱근 엔트로피 스케줄링이 이산 영역에서 학습 효율을 상당히 개선할 수 있으며, 연속 이미지에서는 표준 EDM 스타일 휴리스틱과 경쟁력을 유지함을 나타낸다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.