arXiv:2610.00930v1 cs.CV

분류기 없는 유도를 활용한 디퓨전 활성화 양자화를 위한 결합 브랜치 공간 변환 부호화

Joint Branch-Space Transform Coding for Diffusion Activation Quantization with Classifier-Free Guidance

Mingrun Jiang, Yuejia Liu, Zishan Shao, Ting Jiang, Qinsi Wang, Hancheng Ye, Yixiao Wang, Rui-Feng Wang, Kangning Cui, Yixuan Chen, Fan Yang, Xiang Cheng, Hai Li, Yiran Chen

제출 2026-10-01

한국어 초록

디퓨전 모델을 위한 사후 학습 양자화(PTQ)는 타임스텝, 특징(feature) 및 층(layer) 구조를 점점 더 적극적으로 활용하고 있습니다. 최근 연구에서 디퓨전 양자화에 분류기 없는 유도(CFG) 구조를 통합하기 시작했으나, 활성화(activation) 양자화는 여전히 조건부 및 무조건부 좌표에 걸쳐 독립적으로 작동하여 교차 활성화 구조를 활용하지 못하고 있습니다. 본 연구에서는 매칭된 CFG 활성화가 강하게 상관된 2차원 소스를 형성하며, 고정된 비트 예산 하에서 브랜치 부호화 기저의 선택이 양자화 충실도에 실질적인 영향을 미침을 보여줍니다. 이러한 관찰에 착안하여, 오프라인에서 유도된 2x2 직교 행렬을 통해 매칭된 CFG 브랜치를 회전시켜 모델 파라미터나 양자화 파이프라인의 수정을 최소화하는 브랜치 공간 변환 부호화(branch-space transform coding)를 소개합니다. 나아가 CFG 유도 방향과 브랜치 간 2차 모멘트를 결합하여 반영하는 유도-상관 브랜치 변환(GCBT)을 도출합니다. 동일 비율 양자화 노이즈 대리 지표 하에서 GCBT는 그래디언트(gradient) 최적화나 각도 탐색 없이 층별 닫힌 형태 해(closed-form solution)를 제공합니다. 기존 디퓨전 PTQ 방법론 위에 적용했을 때, GCBT는 기반이 되는 호스트 양자화 파이프라인을 변경하지 않으면서도 통계적으로 유의미한 성능 저하 없이 대부분의 평가 비교에서 통계적으로 유의미한 충실도 향상을 달성합니다.

원문 초록

Post-training quantization for diffusion models increasingly exploits timestep, feature, and layer structure. While recent work has begun incorporating CFG structure into diffusion quantization, activation quantization still operates independently across conditional and unconditional coordinates, leaving cross-activation structure unexploited. We show that matched CFG activations form a strongly correlated two-dimensional source and that, under a fixed bit budget, the choice of branch coding basis materially affects quantization fidelity. Motivated by this observation, we introduce branch-space transform coding, which rotates matched CFG branches via an offline derived 2x2 orthogonal matrix, requiring minimal modifications to model parameters or the quantization pipeline. We further derive the Guidance-Correlation Branch Transform (GCBT), which jointly incorporates the CFG guidance direction and cross-branch second moments. Under an equal-rate quantization-noise surrogate, GCBT admits a closed-form per-layer solution without gradient optimization or angle search. Applied on top of existing diffusion PTQ methods, GCBT yields statistically significant fidelity gains in most evaluated comparisons with no statistically significant degradation, while leaving the underlying host quantization pipeline unchanged.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00930v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15856v1cs.LG공통 태그 Image Generation, diffusion models, classifier-free guidance

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

arXiv:2610.03626v1cs.AI공통 태그 Image Generation, Model Compression, diffusion models

단일 단계 생성 모델에서의 시간으로서의 깊이

Depth as Time in One-Step Generative Models

증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.

arXiv:2610.02753v1cs.CV공통 태그 Image Generation, diffusion models, classifier-free guidance

스펙트럼 정렬을 통한 가이디드 확산 궤적의 보정

Correcting Guided Diffusion Trajectories with Spectral Alignment

조건부 이미지 생성의 실질적인 성공은 조건 정렬(condition alignment)과 시각적 충실도(visual fidelity)의 미세한 차이에 달려 있습니다. 분류기 없는 가이던스(CFG)는 이러한 성공의 핵심이지만, 명시적인 기준이 결여되어 있어 유도된 궤적이 의도한 대로 진행되고 있는지 평가하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 스펙트럼 정렬(spectral alignment)이 가이던스 동작을 이해하고 적응형 보정을 통해 가이디드 확산(diffusion) 샘플링을 개선할 수 있는 원리적 기준을 제공함을 보입니다. 분석 결과, 중간 상태의 스펙트럼이 순방향 과정(forward process)의 예상 스펙트럼 변화와의 일관성을 나타내는 지표임을 확인했습니다. 이러한 관찰을 바탕으로, 샘플링 중 해석적 참조 스펙트럼으로부터의 편차를 보정하는 방법인 스펙트럼 보정 가이던스(Spectral Correction Guidance)를 소개합니다. 제안된 방법은 학습(training)이 필요하지 않으며(training-free), 기본 모델을 수정하지 않고도 다양한 확산 백본 및 조건부 생성 태스크에 적용할 수 있습니다. 실험을 통해 텍스트-투-이미지 생성에서 기준선 가이던스 방법 대비 선호도 기반 지표에서 일관된 성능 향상을 보였으며, ImageNet에서 CFG 대비 생성 품질이 향상됨을 입증했습니다. 이러한 개선은 다양한 가이던스 스케일 전반과 더 적은 노이즈 제거(denoising) 스텝에서도 유지됩니다. 분석 및 절제 연구(ablation)는 가이던스 동작과 제안된 방법이 생성 품질에 미치는 영향에 대한 통찰을 제공합니다.

arXiv:2610.00207v1cs.AR공통 태그 Quantization, Image Generation, Model Compression

ShatterQuant: 시스톨릭 트랜스포머 하드웨어 가속기에서 블록 단위 혼합 정밀도를 통한 균일 정밀도의 한계 극복

ShatterQuant: Breaking Uniform Precision with Block-Wise Mixed-Precision on a Systolic Transformer Hardware Accelerator

기존 가속기에서 텐서(tensor) 내 이종 정밀도 지원이 제한적이기 때문에, 신경망(neural network) 양자화(quantization)는 주로 텐서별 정밀도 할당에 국한되어 왔다. 본 논문에서는 가중치(weight) 프로젝션 블록에 독립적인 비트 폭을 할당함으로써 각 텐서 내에서 혼합 정밀도(mixed-precision) 양자화를 가능하게 하는 하드웨어-소프트웨어 통합 설계 프레임워크인 ShatterQuant를 제시한다. ShatterQuant는 정밀도 단위와 PE(Processing Element) 구성을 결합하여 각 정밀도가 유효 블록 높이를 결정하도록 한다. 우리는 (1) 블록 수준의 표준편차와 가중치 민감도를 기반으로 텐서 내 정밀도를 할당하는 하드웨어 인식 사후 학습(post-training) 기법, (2) 1/2/4/8비트 가중치 정밀도, 정밀도 의존적 PE 구성, 블록 재스케일링, 통합된 소프트맥스(softmax) 및 구분적 선형 비선형성을 지원하는 ShatterQuant 트랜스포머 가속기, 그리고 (3) 1 GHz로 동작하는 TSMC 16nm PDK 구현을 통해 모델-하드웨어 트레이드오프를 평가하여 1.5 TOPS, 760 GOPS/$mm^2$ 면적 효율, 2.8 TOPS/W 에너지 효율을 달성한 결과를 소개한다. DeiT 및 ImageNet-1K에서 ShatterQuant는 2비트 더 낮은 유효 비트 폭을 사용하면서도 최신 혼합 정밀도 기법 대비 $3.3\%$ 이내의 정확도를 달성하며, PixelDiT에 대해서는 동등한 수준의 생성 품질을 보여준다. ShatterQuant는 하드웨어-소프트웨어 통합 설계를 통해 미세한 텐서 내 혼합 정밀도가 어떻게 실현될 수 있는지를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.