arXiv:2607.10951v2 cs.LG

Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion

Pascal Jutras-Dub\'e, Patrick Pynadath, Jeremy Lu, Yuan Gao, Ruqi Zhang

제출 2026-10-30

원문 초록

We introduce sticky jump diffusions (SJDs), continuous-time Markov processes on $\mathbb{R}^d$ whose discrete anchors are token embeddings. In forward time, anchors release their mass at a hazard rate and the released mass diffuses in the continuous ambient space; time reversal couples a score-driven SDE with a sticky jump kernel whose rate and destination are fixed by flux balance with the forward law. We estimate the score and the per-anchor reverse hazards from a single denoising classifier via denoising hazard matching, the hazard analogue of denoising score matching, with simulation-free cross-entropy training. SJD recovers masked diffusion, continuous diffusion, and hybrid diffusion as limits. Its reversal explains features that each family treats as given: the mask of masked diffusion carries no evidence about the source token because the unsticking kernel of every anchor collapses to the same absorbing point; the terminal projection of continuous diffusion is required due to the absence of atoms in its forward marginal, without which flux balance yields no reverse jumps; and the update rules of hybrid diffusion (commit rate, destination, and drift) all follow from flux balance rather than from separate design. Beyond these limits, the unsticking kernel becomes a design space: a cross-position blending corrupts each position toward a blend of its neighbors' clean values or embeddings, turning dependency structure such as spatial locality or a constraint graph into an inductive bias of the corruption itself, and improves over the identity-kernel hybrid on CIFAR-10, Text8, and Sudoku.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.10951v2제출 시각 미확인
  2. arXiv:2607.10951v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02260v2cs.AI공통 태그 Density Estimation, Image Generation

MintFlow: 제약 조건 기반 플로우 매칭을 위한 최소 궤적 개입

MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching

플로우 매칭(Flow matching) 모델은 생성 모델링에서 뛰어난 성능을 보이며, 수많은 다운스트림 응용 분야에서는 생성된 샘플이 관측된 측정값이나 물리 법칙과 같은 규정된 제약 조건을 만족하도록 요구합니다. 그러나 기존의 제약 조건 기반 샘플러는 흔히 상충 관계(trade-off)에 직면합니다. 즉, 제약 조건을 강제하면 사전학습된 데이터 분포로부터 샘플이 크게 벗어날 수 있습니다. 이러한 상충 관계를 해결하기 위해, 본 논문에서는 사전학습된 플로우 궤적에 대한 최소한의 개입으로 제약 조건 강제를 공식화하는 학습 불필요(training-free) 제약 조건 기반 샘플링 프레임워크인 MintFlow를 제안합니다. MintFlow는 사전학습된 플로우 필드 하에서 이후의 상태 변화가 목표 제약 조건을 만족하도록 중간 플로우 상태의 최소 섭동(perturbation)을 탐색합니다. 사전학습된 플로우 필드를 변경하지 않고 유지하면서 플로우 상태를 최소한으로 섭동시킴으로써, MintFlow는 사전학습된 분포로부터의 불필요한 이탈을 최소화하면서 제약 조건을 강제합니다. 또한 수반 공식화(adjoint formulation)를 통해 이 섭동에 대한 닫힌 형식 표현(closed-form expression)을 도출하여 비용이 많이 드는 반복적 최적화를 배제합니다. 나아가 MintFlow는 필요한 섭동 크기와 잔여 플로우에 의한 증폭 사이의 균형을 맞추기 위해 개입 시점을 적응적으로 선택합니다. 생성형 비전 및 물리 시스템 모델링의 다양한 태스크 전반에 걸쳐, MintFlow는 경쟁력 있는 수준으로 제약 조건을 만족하는 동시에 최신 제약 조건 기반 기법들보다 사전학습된 생성 분포를 훨씬 더 잘 보존합니다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Denoising

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.13344v1cs.CV공통 태그 Image Generation, Denoising

롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유

Why DiT Models Underperform as Representation Learners without Long Skip Connections

디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.

arXiv:2610.13834v1cs.LG공통 태그 Denoising, Text Generation

연속 확산 언어 모델의 설계 공간에 관한 연구

On the Design Space of Continuous Diffusion Language Models

연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.

arXiv:2610.13851v1stat.ML공통 태그 Density Estimation, Denoising

완전 이산 조건부 확산 모델에 대한 유한 표본 보장

Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models

본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.

arXiv:2610.13944v1cs.CV공통 태그 Image Generation, Denoising

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.