arXiv:2503.10637

Distilling Diversity and Control in Diffusion Models

Rohit Gandikota, David Bau

제출 2025-03-13

원문 초록

Distilled diffusion models suffer from a critical limitation: reduced sample diversity compared to their base counterparts. In this work, we uncover that despite this diversity loss, distilled models retain the fundamental concept representations of base models. We demonstrate control distillation - where control mechanisms like Concept Sliders and LoRAs trained on base models can be seamlessly transferred to distilled models and vice-versa, effectively distilling control without any retraining. This preservation of representational structure prompted our investigation into the mechanisms of diversity collapse during distillation. To understand how distillation affects diversity, we introduce Diffusion Target (DT) Visualization, an analysis and debugging tool that reveals how models predict final outputs at intermediate steps. Through DT-Visualization, we identify generation artifacts, inconsistencies, and demonstrate that initial diffusion timesteps disproportionately determine output diversity, while later steps primarily refine details. Based on these insights, we introduce diversity distillation - a hybrid inference approach that strategically employs the base model for only the first critical timestep before transitioning to the efficient distilled model. Our experiments demonstrate that this simple modification not only restores the diversity capabilities from base to distilled models but surprisingly exceeds it, while maintaining nearly the computational efficiency of distilled inference, all without requiring additional training or model modifications. Our code and data are available at https://distillation.baulab.info

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01687v1cs.CV공통 태그 Computational Efficiency, Diversity

구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링

Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models

테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.

arXiv:2609.27033v1cs.LG공통 태그 Computational Efficiency, Diversity

WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습

WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps

보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.

arXiv:2609.27657v1cs.LG공통 태그 Computational Efficiency, Diversity

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2609.27208v1cs.CV공통 태그 Computational Efficiency, Diversity

비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹

Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics

공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.

arXiv:2609.24485v1cs.CV공통 태그 Computational Efficiency, Diversity

VPRune: 효율적인 학습 없는 LLM 이전 비주얼 토큰 가지치기

VPRune: Efficient Training-free Pre-LLM Visual Token Pruning

비주얼 토큰 가지치기(pruning)는 대규모 비전-언어 모델(LVLM)의 추론(inference) 비용을 줄이는 유망한 접근법이지만, 공격적인 토큰(token) 감축은 종종 심각한 성능 저하를 초래합니다. 본 연구에서는 이러한 성능 저하의 배후에 있는 세 가지 핵심 요인으로 텍스트 기반 선택 바이어스(bias), 폐기된 토큰으로 인한 정보 손실(loss), 그리고 시퀀스 압축으로 인한 위치 왜곡을 규명합니다. 이러한 관찰을 바탕으로, 시각 정보 전용 다양성 선택, 유사도 기반 토큰 재활용, 위치 보존 복원으로 구성된 학습(training) 없는 LLM 이전 가지치기 프레임워크인 VPRune을 제안합니다. 여러 비전-언어 벤치마크에 걸친 FastVLM-1.5B 실험은 VPRune이 특히 공격적인 압축 환경에서 두드러진 이점을 보이며 우수한 정확도-압축 트레이드오프를 달성함을 입증합니다. 나아가 엣지 디바이스 평가를 통해 VPRune이 우수한 태스크 성능을 유지하면서 종단간(end-to-end) 추론 지연 시간을 효과적으로 줄여, 자원 제약이 있는 환경에서의 LVLM 배포에 대한 실용성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.