arXiv:2610.02251v1 cs.LG

디퓨전 초안 트리를 위한 순위 인식 추측 샘플링

Rank-Aware Speculative Sampling for Diffusion Draft Trees

Marcello Bullo, Yanxiao Liu, Öykü Sıla Güner, Arpan Mukherjee, Deniz Gündüz

제출 2026-09-30

한국어 초록

추측 샘플링(speculative sampling)은 목표 분포(target law)를 보존하면서 저비용 초안(draft) 상태들을 병렬로 검증함으로써 디퓨전 생성을 가속합니다. 최근의 트리 기반 방식들은 Diffusion Greedy Rejection Sampling(D-GRS)에서 볼 수 있듯이 단일 체인 초안보다 병렬 연산 예산을 더 효과적으로 할당합니다. D-GRS는 노드(node)당 조건부 독립인 $K$개의 후보를 생성하고, 생성된 순서대로 순차 검증합니다. 그러나 샘플링된 후보들은 추가적인 목표 모델(model) 평가 없이도 유의미한 순위화가 가능합니다. 이를 활용하기 위해, 순위 인식 리스트 결합(coupling)에 기반한 추측 초안 트리의 검증 규칙인 Rank-Aware Speculative Sampling(RASS)을 제안합니다. RASS는 제안-목표 간 평균 변위에 따라 초안 후보들을 정렬하고, 선택된 제안 분포와 목표 분포 간의 전변동(total variation)을 최소화하도록 최적화된 가중치로 순위를 샘플링합니다. 마지막으로 선택된 후보는 목표와 최대로 결합되며, 잔차 보정을 통해 어떠한 순위 가중치 선택에서도 정확한 샘플링이 보장됩니다. 본 연구는 가우시안 혼합 목표, FFHQ에서의 무조건부 픽셀 공간 생성, CIFAR-10에서의 조건부 생성, COCO2014 프롬프트를 사용한 Stable Diffusion 3.5 기반 잠재 디퓨전에서 RASS를 평가합니다. 표준 샘플링 대비 추측 샘플링의 목표 모델 평가 횟수 비율로 측정했을 때, RASS는 평가된 모든 설정에서 D-GRS보다 향상되었으며 동일한 연산 예산 기준 CIFAR-10에서 약 20%의 성능 향상을 달성했습니다.

원문 초록

Speculative sampling accelerates diffusion generation by verifying inexpensive draft states in parallel while preserving the target law. Recent tree-based methods allocate the parallel compute budget more effectively than single-chain drafts, as demonstrated by Diffusion Greedy Rejection Sampling (D-GRS). D-GRS generates $K$ conditionally independent candidates per node, and sequentially tests them in their generation order. Yet the sampled candidates admit an informative ranking without additional target-model evaluations. To exploit this, we introduce Rank-Aware Speculative Sampling (RASS), a verification rule for speculative draft trees based on rank-aware list coupling. RASS orders draft candidates along the proposal-target mean displacement and samples a rank with weights optimized to minimize total variation between the selected-proposal and target laws. Finally, the selected candidate is maximally coupled with the target, with residual correction ensuring exact sampling for any choice of rank weights. We evaluate RASS on a Gaussian-mixture target, unconditional pixel-space generation on FFHQ, conditional generation on CIFAR-10, and latent diffusion with Stable Diffusion 3.5 using COCO2014 prompts. Measured by the ratio of standard to speculative sampling's target-model evaluation counts, RASS improves on D-GRS across the evaluated settings, with gains reaching approximately 20% on CIFAR-10 at matched compute budgets.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02251v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12121v3cs.DC공통 태그 Image Generation, diffusion models

FlashDiff: 확산 모델 서빙을 위한 효율적인 지역 실행 및 스케줄링

FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving

확산 모델은 현대의 이미지, 비디오, 오디오 생성의 핵심 백본이 되었지만, 이를 효율적으로 서비스하는 것은 여전히 난제로 남아 있다. 자기 회귀(autoregressive) 디코딩과 달리, 확산 추론(inference)은 많은 노이즈 제거(denoising) 단계에 걸쳐 고차원 공간 또는 시간 잠재 변수(latent)를 반복적으로 갱신한다. 이 전체 영역(all-region) 실행 패턴은 생성 지연 시간을 높이고 서빙 처리량을 제한한다. 기존의 다중 GPU 병렬화 방법은 단계당 연산을 줄일 수 있지만, 종종 상당한 활성화(activation) 교환 오버헤드를 유발하여 통신 비용이 병렬 실행의 이점을 상쇄하거나 심지어 상회하기도 한다. 본 논문은 적응형 지역 실행 및 스케줄링을 통해 추론 효율을 향상시키는 확산 서빙 시스템 FlashDiff를 제안한다. FlashDiff는 확산 정제(refinement)가 잠재 변수 영역이나 노이즈 제거 단계 전반에 걸쳐 균일하지 않다는 관찰에 기반한다. 서로 다른 영역은 종종 서로 다른 속도로 안정화되며, 인접한 단계들은 강한 시간적 상관관계를 보인다. FlashDiff는 이러한 특성을 활용하여 추가 정제가 필요한 영역만 선택적으로 실행하고, 그로 인해 발생하는 연산 여유를 동시 서빙 요청들에 재할당한다. FlashDiff는 세 가지 메커니즘으로 구성된다. 첫째, 초기 단계 어텐션(attention) 신호를 사용하여 잠재 표현을 일관된 실행 영역으로 분해함으로써 의미 구조를 보존하면서 세밀한 병렬성을 드러낸다. 둘째, 경량 런타임 컨트롤러를 사용하여 영역 활성도를 추정하고, 추가 정제가 출력 품질에 영향을 줄 가능성이 낮을 때 영향이 적은 갱신을 우회한다. 셋째, 친화도 인식(affinity-aware) 온라인 스케줄러를 적용하여 의존적인 영역을 공동 배치(co-locate)하고, GPU 간 잔여 부하를 균형 있게 분배하며, 회수된 연산 용량을 재사용하여 서빙 효율을 향상시킨다. 실제 이미지, 비디오, 오디오 워크로드에서 FlashDiff는 종단 간 서빙 지연 시간을 30-97% 줄이고 처리량을 1.2-2.2배 향상시킨다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, diffusion models

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, diffusion models

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

arXiv:2610.13944v1cs.CV공통 태그 Image Generation, diffusion models

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

arXiv:2610.10989v1cs.LG공통 태그 Image Generation, diffusion models

다중 대역폭 분포 매칭 증류: 분포 매칭 증류와 Drifting Model의 동치성에 관하여

Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models

연구자들은 효과적인 원스텝 생성 모델(one-step generative model)을 지속적으로 탐구하고 있으며, Drifting Models(Deng et al., 2026)는 최근 원스텝 생성(one-step generation)에서 큰 가능성을 보여주고 있다. 디퓨전 및 플로우 스타일 생성 모델(Diffusion & Flow Style Generative Models, DFSGMs)(Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022)과 Drifting Models(Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026) 사이의 연관성을 밝힌 연구들이 존재한다. 그러나 우리가 아는 한, Drifting Model과 널리 사용되는 증류(distillation) 방법인 분포 매칭 증류(Distribution Matching Distillation, DMD/DMD2)(Yin et al., 2024b;a) 사이에 정확한 대응 관계를 수립한 연구는 아직 없으며, 이는 두 방법의 최적화 목적 함수가 거의 동일함에도 그러하다. 본 논문에서는 사전학습된(pre-trained) DFSGMs의 속도장(velocity-field)/노이즈장(noise-field)을 Drifting Models의 인력장(attraction force field)으로 변환하고, 생성 분포(generative distribution)로부터 반발력장(repulsion force field)을 추정함으로써, Drifting Model의 학습이 분포 매칭 증류와 자연스럽게 동치임을 증명한다. 이러한 동치 개념을 바탕으로, Drifting Model의 관점에서 DMD를 개선한 방법인 다중 대역폭 분포 매칭 증류(Multi-Bandwidth Distribution Matching Distillation, MBDMD)를 제안한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.