분포 학습(distributional training)은 동결된 표현 공간에서 실제 특징과 생성된 특징을 매칭하여 단일 단계 시각 생성을 위한 집단적 감독을 제공합니다. 본 논문에서는 분포 모델링을 매칭 불일치로부터 분리하고, 바서슈타인 그래디언트 흐름(Wasserstein gradient flow)을 통해 전역 목적함수를 점별(pointwise) 특징 업데이트와 연결하는 통합 이론적 프레임워크를 소개합니다. 이 프레임워크 아래에서 FD-Loss와 가우시안 커널 드 리프팅(Gaussian-kernel Drifting)은 각각 가우시안 최적 수송 및 커널 밀도 기반 KL 매칭을 통해 복원됩니다. 이 프레임워크를 기반으로, 전역 모멘트와 샘플 기반 표현 사이의 조정 가능한 세분성으로 가우시안 혼합을 통해 특징 분포를 모델링하는 MGFlow를 제안합니다. MGFlow는 최적 수송과 스코어 기반 매칭을 모두 지원하며, 혼합 표현력만으로는 해결되지 않는 모드 붕괴(mode collapse)를 해결하기 위해 질량 제약 샘플 할당과 쌍을 이루는 컴포넌트 업데이트를 결합합니다. ImageNet $256\times256$에서 MGFlow는 FD-Loss 기준선을 크게 능가하여 pMF-H에서 1.45 $\mathrm{FDr}^6$, JiT-H에서 1.64를 기록하며 최고 성능(SOTA)을 달성했습니다. 텍스트-이미지 생성의 경우, MGFlow는 FLUX.2 [klein] 4B를 사후학습(post-training)하여 GenEval과 PickScore 모두에서 기존 4단계 모델을 능가하는 단일 단계 생성기로 변환합니다.
소수 단계(few-step) 신경망 텍스트 음성 변환(text-to-speech) 모델은 단축된 확산(diffusion) 또는 플로우 매칭(flow-matching) 스케줄에 의존하거나, 사전학습된 다단계 교사 모델로부터의 지식 증류(distillation)에 의존하는 경우가 많습니다. 이러한 의존성을 피하기 위해, 본 논문에서는 생성 교사 모델, 지식 증류, 또는 적대적 판별자(adversarial discrimination) 없이 학습(training)되는 소수 단계 멜-스펙트로그램(mel-spectrogram) 생성기인 DriftTTS를 제안합니다. DriftTTS는 원본 멜과 동일한 LJSpeech 학습 분할에서 사전학습된 동결된 마스크드 오토인코더(masked-autoencoder) 인코더로 정의된 멜 도메인 특징(feature) 공간에서 분포 매칭 드리프트(distribution-matching drift) 목적 함수를 사용합니다. 온-정책(on-policy) 롤아웃(rollout)은 디코더를 자체 중간 상태에서 학습시키며, 학습된 롤아웃 깊이까지의 추론(inference)을 지원합니다. LJSpeech에서 NFE=4일 때 DriftTTS는 Matcha-TTS의 3.85 dB 및 3.4%와 비교하여 3.87 dB MCD 및 3.7% WER을 달성합니다. 완전 쌍체 블라인드 청취 테스트에서 DriftTTS는 Matcha-TTS의 3.96 및 실제 정답(ground truth)의 4.22와 비교하여 4.18 MOS를 기록합니다. 이러한 결과는 사전학습된 생성 교사 모델 없이도 경쟁력 있는 소수 단계 합성이 가능함을 보여줍니다. 코드는 https://github.com/BASHLab/driftTTS.git 에서 확인할 수 있습니다.
우리는 슬라이스 최적 수송(sliced optimal transport)에 기반한 분포 매칭을 위한 효율적인 반복적 방법인 슬라이스 매칭 방식(slice-matching scheme)을 연구한다. 목표 분포로의 수렴을 조사하고 정량적인 비점근적 수렴률을 도출한다. 이를 위해 Sliced-Wasserstein 목적함수에 대한 Łojasiewicz형 부등식을 확립한다. 핵심 과제는 궤적을 따라 이러한 부등식의 상수들을 통제하는 것이다. 가우스 분포의 경우 이것이 다루기 쉬워짐을 보인다. 구체적으로, 각 반복(iteration)마다 무작위 정규직교 기저를 따라 매칭할 때 고유값이 통제된다. 이론을 수치 실험으로 보완하고, 차원과 스텝 크기(step-size)에 대한 예측된 의존성과 정규직교 기저 샘플링의 안정화 효과를 설명한다.
사전 적합 네트워크(PFNs)는 문맥 내 학습(in-context learning)을 수행하는 유망한 테이블형 파운데이션 모델의 일종으로, 전체 레이블이 지정된 학습 데이터셋을 컨텍스트로 제공하고 단일 순전파(forward pass)로 테스트 쿼리에 대한 예측을 생성합니다. 그러나 많은 PFN 아키텍처에서 이차적으로 확장되는 셀프 어텐션(self-attention) 메커니즘은 매우 큰 학습 데이터셋에 대한 추론을 불가능하게 만듭니다. 우리는 CRUMB (Clustered Retrieval Using Minimised-MMD Batching)을 제안합니다. 이는 (i) 테스트 쿼리를 클러스터링하고, (ii) 최대 평균 불일치(MMD)를 탐욕적으로 최소화하여 각 클러스터에 대해 분포 매칭된 작은 학습 서브셋을 선택하며, (iii) 각 축소된 컨텍스트 배치에서 정확한 PFN 추론을 실행하는 3단계 추론 래퍼입니다. CRUMB은 아키텍처 무관(architecture-agnostic)이며 재학습이 필요하지 않습니다. 51개 데이터셋의 TabArena 벤치마크에서 세 가지 PFN 아키텍처(TabPFNv2, TabICLv1, TabICLv2)에 걸쳐 평가한 결과, CRUMB이 유사한 최첨단(SOTA) 컨텍스트 선택 전략보다 우수함을 보여줍니다. 또한 CRUMB이 공변량 드리프트(covariate drift)에 강건함을 보여주는데, 이는 MMD 최소화 단계가 학습 컨텍스트 분포를 현재 테스트 배치 분포와 일치하도록 자연스럽게 정렬하는 데 도움을 주기 때문입니다.