arXiv:2609.39271v2 cs.LG

RW-Flow: 바서슈타인 그래디언트 흐름을 통한 컴팩트 다양체 상에서의 원스텝 생성

RW-Flow: One-Step Generation on Compact Manifolds via Wasserstein Gradient Flows

Ualibyek Nurgulan, Seungwoo Yoo, Prin Phunyaphibarn, Minhyuk Sung

제출 2026-09-30

저자 비고

arXiv Comments

27 pages

한국어 초록

지진과 같은 지리공간적 사건의 위치부터 3차원 구조에 관한 정보를 인코딩하는 생체분자 비틀림 각도에 이르기까지, 다양체 값 데이터(manifold-valued data) 및 이로 인해 유도되는 분포는 여러 영역에 걸쳐 널리 나타납니다. 확산(diffusion) 및 흐름 기반(flow-based) 생성 모델이 컴팩트 다양체(compact manifold)로 성공적으로 확장되었으나, 샘플링에는 일반적으로 수십에서 수백 번의 순차적 네트워크 평가가 필요합니다. 본 논문에서는 바서슈타인 그래디언트 흐름(Wasserstein gradient flow)을 통해 컴팩트 다양체 상에서 원스텝 생성 모델을 학습하기 위한 이론적으로 확립된 프레임워크인 RW-Flow를 소개합니다. 주요 과제는 식별가능성(identifiability)입니다. 즉, 속도장(velocity field)을 0으로 만드는 것이 모델 분포가 목표 분포와 일치함을 보장해야 합니다. 본 연구에서는 컴팩트 연결 리만 다양체(compact, connected Riemannian manifold) 상에서 식별가능성을 위한 필요충분조건을 확립합니다. 구체적으로 대칭적이고 립시츠 연속(Lipschitz-continuous)인 비용 함수에 대해, 싱크혼 발산(Sinkhorn divergence)에 의해 유도된 속도장이 식별가능할 필요충분조건은 연관된 깁스 커널(Gibbs kernel)이 비퇴화(nondegenerate)인 경우임을 보입니다. 이러한 특성화는 컴팩트 다양체 상에서 식별가능한 비용을 설계하기 위한 일반적인 원칙을 제공합니다. 또한 유클리드 제곱 거리의 자연스러운 다양체 대응물인 측지선 제곱 거리(squared geodesic distance)가 항상 식별가능성을 보장하는 것은 아님을 밝힙니다. 지리공간적 사건, 단백질 측쇄 비틀림 각도, RNA 백본 비틀림 각도, 삼각형 메시로 이산화된 일반 다양체를 포함하는 벤치마크 전반에서, RW-Flow는 공정한 비교 조건 하에 거의 모든 설정에서 기존 원스텝 방식보다 우수한 성능을 보입니다.

원문 초록

Manifold-valued data, and consequently the distributions they induce, are prevalent across many domains, ranging from the locations of geospatial events, such as earthquakes, to biomolecular torsion angles that encode information about three-dimensional structure. While diffusion and flow-based generative models have been successfully extended to compact manifolds, sampling typically requires tens or hundreds of sequential network evaluations. We introduce RW-Flow, a theoretically grounded framework for learning one-step generative models on compact manifolds via Wasserstein gradient flows. The main challenge is identifiability: driving the velocity field to zero should guarantee that the model distribution matches the target distribution. We establish a necessary and sufficient condition for identifiability on compact, connected Riemannian manifolds. We specifically show that, for a symmetric, Lipschitz-continuous cost function, the velocity field induced by the Sinkhorn divergence is identifiable if and only if the associated Gibbs kernel is nondegenerate. This characterization provides a general principle for designing identifiable costs on compact manifolds. It also reveals that the squared geodesic distance, the natural manifold analogue of the squared Euclidean distance, does not always guarantee identifiability. Across benchmarks involving geospatial events, protein side chain torsion angles, RNA backbone torsion angles, and general manifolds discretized as triangular meshes, RW-Flow outperforms existing one-step methods in nearly all settings under fair comparison conditions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.39271v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2408.07498v5math.AP공통 태그 wasserstein gradient flow공식 코드 · Papers with Code

Wasserstein Gradient Flows of MMD Functionals with Distance Kernel and Cauchy Problems on Quantile Functions

실수선상의 주어진 목표 측도 $ν$를 향한 최대 평균 차이(MMD) 범함수 $\mathcal F_ν:= \text{MMD}_K^2(\cdot, ν)$의 바서슈타인 그래디언트 플로우에 대해 포괄적으로 설명하며, 여기서는 음의 거리 커널 $K(x,y) := -|x-y|$에 초점을 맞춥니다. 1차원에서 바서슈타인-2 공간은 분위수 함수의 원뿔 $\mathcal C(0,1) \subset L_2(0,1)$로 등거리 매립될 수 있으며, 이는 $L_2(0,1)$에서 연관된 코시 문제의 해를 통한 바서슈타인 그래디언트 플로우의 특성화로 이어집니다. $L_2(0,1)$에서 $\mathcal F_ν$의 적절한 대응물 및 그 아미분계(subdifferential)의 구성을 기반으로, 우리는 코시 문제의 해를 제공합니다. 이산 목표 측도 $ν$의 경우, 이는 조각별 선형(piecewise linear) 해 공식으로 귀결됩니다. 우리는 $\mathcal C(0,1)$의 부분 집합에 대한 플로우의 불변성 및 평활화(smoothing) 성질을 증명합니다. 특정 $\mathcal F_ν$-플로우의 경우, 이는 초기 점 측도가 즉시 절대 연속(absolute continuous)이 되고 시간이 지남에 따라 그 상태를 유지함을 의미합니다. 마지막으로, 이분법(bisection) 알고리즘으로 쉽게 계산할 수 있는 암시적 오일러(Euler) 방식을 사용하여 다양한 수치 예제를 통해 플로우의 거동을 설명합니다. 연속 목표 $ν$의 경우, 제한된 수렴(convergence) 보장이 있지만, 명시적 오일러 방식도 사용할 수 있습니다.

arXiv:2609.06324v5cs.CL공통 태그 one-step generation

주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류

A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models

확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.

arXiv:2610.02208v3cs.CV공통 태그 one-step generation

Sphere Encoder 2

Sphere Encoder 2

Sphere Encoder는 고차원 잠재 구(high-dimensional latent sphere)에서 무작위 포인트를 디코딩하여 이미지를 생성하는 오토인코더(autoencoder)입니다. 본 논문에서는 생성 품질을 저하시키는 기존 수식의 두 가지 한계점을 규명합니다. 첫째, 인코딩된 잠재 공간에서 극(pole)을 기준으로 무작위 포인트들이 적도(equator) 부근에 집중되지만, 학습 회전은 이 영역에 도달하지 못해 격차가 발생하며 이는 원스텝(one-step) 생성을 제한합니다. 둘째, 픽셀 단위 재구성 손실로 생성 학습을 수행하면 디코더가 그럴듯한 이미지들을 평균화하도록 유도되어 고주파 세부 정보(high-frequency details)가 결여된 흐릿한 이미지가 생성됩니다. 이러한 두 가지 한계를 해결하기 위해 Sphere Encoder 2를 제안하며, 오토인코더의 속도와 단순성을 유지하면서도 이미지 생성 품질을 대폭 향상시킵니다. 모델은 https://github.com/kaiyuyue/sphere2 에서 공개됩니다.

arXiv:2609.35763v4cs.LG공통 태그 one-step generation

단일 단계 시각 생성을 위한 분포 학습의 통합

Unifying Distributional Training for One-Step Visual Generation

분포 학습(distributional training)은 동결된 표현 공간에서 실제 특징과 생성된 특징을 매칭하여 단일 단계 시각 생성을 위한 집단적 감독을 제공합니다. 본 논문에서는 분포 모델링을 매칭 불일치로부터 분리하고, 바서슈타인 그래디언트 흐름(Wasserstein gradient flow)을 통해 전역 목적함수를 점별(pointwise) 특징 업데이트와 연결하는 통합 이론적 프레임워크를 소개합니다. 이 프레임워크 아래에서 FD-Loss와 가우시안 커널 드 리프팅(Gaussian-kernel Drifting)은 각각 가우시안 최적 수송 및 커널 밀도 기반 KL 매칭을 통해 복원됩니다. 이 프레임워크를 기반으로, 전역 모멘트와 샘플 기반 표현 사이의 조정 가능한 세분성으로 가우시안 혼합을 통해 특징 분포를 모델링하는 MGFlow를 제안합니다. MGFlow는 최적 수송과 스코어 기반 매칭을 모두 지원하며, 혼합 표현력만으로는 해결되지 않는 모드 붕괴(mode collapse)를 해결하기 위해 질량 제약 샘플 할당과 쌍을 이루는 컴포넌트 업데이트를 결합합니다. ImageNet $256\times256$에서 MGFlow는 FD-Loss 기준선을 크게 능가하여 pMF-H에서 1.45 $\mathrm{FDr}^6$, JiT-H에서 1.64를 기록하며 최고 성능(SOTA)을 달성했습니다. 텍스트-이미지 생성의 경우, MGFlow는 FLUX.2 [klein] 4B를 사후학습(post-training)하여 GenEval과 PickScore 모두에서 기존 4단계 모델을 능가하는 단일 단계 생성기로 변환합니다.

arXiv:2610.03626v1cs.AI공통 태그 one-step generation

단일 단계 생성 모델에서의 시간으로서의 깊이

Depth as Time in One-Step Generative Models

증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.

arXiv:2609.27008v1math.AP공통 태그 wasserstein gradient flow

스펙트럴 비음 상호작용 에너지에 대한 와서스타인 그래디언트 흐름의 날카로운 수렴

Sharp Convergence of Wasserstein Gradient Flows for Spectrally Nonnegative Interaction Energies

닫힌 다양체 $M$ 위에서 상호작용 에너지 \[ \mathsf E[\mu] = \frac12\iint_{M\times M}K(x,y)\,\mathrm d\mu(x)\,\mathrm d\mu(y) \] 에 대한 와서스타인 그래디언트 흐름의 장시간 거동을 연구한다. 라플라스 고유기저에서 대각이고 스펙트럴 계수가 비음인 커널에 대해, 상대 엔트로피와 에너지 갭 사이를 잇는 미분 부등식을 증명한다. 따라서 임의의 비음 초기 밀도 $u_0\in L^p(M)$, $p>1$에 대해 에너지 갭은 시간에 대해 적분 가능하며 \[ \mathsf E[\mu_t]-\mathsf E_{\min}=o(t^{-1}). \] 를 만족한다. 모든 스펙트럴 계수가 양수이면, 흐름은 약하게 상수 측도로 수렴한다. 이러한 상호작용 에너지는 와서스타인 공간에서 측지적으로 볼록일 필요가 없으며, 관련 흐름에는 확산이 포함되지 않는다. 따라서 전역 수렴은 표준 와서스타인 그래디언트 흐름 이론에서 바로 따라오지 않는다. 우리 결과가 다루는 커널에는 구면 위의 zonal 커널, 트랜스포머 모델에서 나오는 커널, 정규화된 Riesz 커널, 역 분수 라플라시안 커널이 포함된다. $o(t^{-1})$ 수렴률의 날카로움도 조사한다. 무한히 많은 양의 스�ект럴 계수를 갖는 이 클래스의 임의의 매끄러운 커널과 임의의 $\delta>0$에 대해, 선형화된 흐름의 해를 구성하여 무한대로 갈수록 어떤 시간열을 따라 그 에너지가 $t^{-1-\delta}$와 비슷한 크기를 갖도록 한다. 더 나아가 임의의 $\delta>0$에 대해, 평탄 토러스 위에서 적절한 역 분수 라플라시안 커널을 선택함으로써, 비선형 와서스타인 그래디언트 흐름의 정확한 해를 구성하여 그 에너지가 $t^{-1-\delta}$와 비슷한 크기를 갖도록 한다. 이 비선형 구성은 dyadic 푸리에 계수 블록의 시간에 대한 균등 추정과 블록 단위 에너지 지속(persistence) 논증에 기반한다. 이러한 추정은 또한 비선형 와서스타인 그래디언트 흐름과 그 선형화 사이의 시간에 대한 균등 정량적 비교를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.