REPA-G: 표현 정렬된 시각 특징을 활용한 테스트 시점 조건화
REPA-G: Test-Time Conditioning with Representation-Aligned Visual Features
한국어 초록
자기지도 학습 모델과의 표현 정렬(representation alignment)이 확산 모델(diffusion model) 학습을 개선하는 것으로 나타났으나, 추론 시점의 조건화를 향상시키는 잠재력은 아직 거의 탐구되지 않았습니다. 본 연구에서는 풍부한 의미론적 특성을 지닌 이러한 정렬된 표현을 활용하여 생성 과정에서 특징 기반의 테스트 시점 조건화를 가능하게 하는 프레임워크인 REPA-G(Representation-Aligned Guidance)를 소개합니다. 추론 시 유사도 목적함수(포텐셜)를 최적화함으로써, 사전학습된 특징 추출기에서 추출된 조건 표현을 향해 노이즈 제거(denoising) 과정을 유도합니다. 본 방식은 단일 패치를 통한 패치 수준 매칭부터 전역 이미지 특징 토큰을 사용한 광범위한 의미론적 안내에 이르기까지 다양한 세분성 수준에서 다채로운 제어를 제공합니다. 더 나아가 이를 다중 개념 구성으로 확장하여 서로 다른 개념들을 충실하게 결합할 수 있도록 합니다. REPA-G는 추가 학습 없이 전적으로 추론 시점에만 작동하며, 모호한 경우가 많은 텍스트 프롬프트나 거친 클래스 레이블을 대체할 수 있는 유연하고 정밀한 대안을 제시합니다. 본 접근법은 ImageNet과 COCO에서 고품질의 다양한 생성을 달성합니다. 코드는 https://github.com/valeoai/REPA-G 에서 이용할 수 있습니다.
원문 초록
While representation alignment with self-supervised models has been shown to improve diffusion model training, its potential for enhancing inference-time conditioning remains largely unexplored. We introduce Representation-Aligned Guidance (REPA-G), a framework that leverages these aligned representations, with rich semantic properties, to enable test-time conditioning from features, in generation. By optimizing a similarity objective (the potential) at inference, we steer the denoising process toward a conditioned representation extracted from a pre-trained feature extractor. Our method provides versatile control at multiple levels of granularity, ranging from patch level matching via single patches to broad semantic guidance using global image feature tokens. We further extend this to multi-concept composition, allowing for the faithful combination of distinct concepts. REPA-G operates entirely at inference time with no additional training required, offering a flexible and precise alternative to often ambiguous text prompts or coarse class labels. Our approach achieves high-quality, diverse generations on ImageNet and COCO. Code is available at https://github.com/valeoai/REPA-G
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스
InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.
Just Align $\bm{x}$: 표현이 아닌 예측 정렬하기
Just Align $\bm{x}$: Aligning Predictions, Not Representations
표현 정렬(representation alignment)은 디퓨전(diffusion) 학습을 가속화하는 효과적인 방법으로 자리 잡았지만, 그 이점이 픽셀 공간(pixel-space)의 클린 이미지(clean-image) 예측으로는 안정적으로 전이되지 않는다. JiT에서 우리는 보조 특징 정렬(auxiliary feature alignment)이 의미론적 특징(semantic feature)에 대한 접근성을 향상시키는 동시에 클린 이미지 예측에 필요한 이미지 변동(image variation)에 대한 접근성을 감소시켜, 보조 목표(auxiliary objective)와 디노이징(denoising) 과제 간의 불일치를 초래한다는 것을 발견했다. 이는 다른 원칙을 시사한다: 보조 지도(auxiliary supervision)는 별도의 표현 목표를 부과하기보다 예측 대상 자체를 개선해야 한다는 것이다. 우리는 서로 다른 노이즈 수준(noise level)에 걸쳐 클린 이미지 예측을 정렬하는 예측 지도(prediction-supervision) 방법인 JAx(Just Align x)를 제안한다. JAx는 마르코프 저하(Markov degradation)를 통해 더 노이즈가 많은 학생(student) 관측과 더 깨끗한 관측을 결합하며, 이 과정은 원래의 JiT 입력 분포를 보존한다. 이 결합 하에서, 더 깨끗한 상태로부터의 오라클 예측(oracle prediction)은 최적의 JiT 목표와 동일한 조건부 평균(conditional mean)을 가지면서도, 조건부 목표 공분산(conditional target covariance)은 더 크지 않다. 따라서 오라클 예측 정렬은 상수 항을 제외하면 모집단 JiT 목표를 보존하면서도 더 낮은 분산의 학습 목표를 제공한다. 불완전한 EMA 교사(teacher)를 사용하는 실제 상황에서 이 구성을 실용적으로 만들기 위해, JAx는 실제 정답 지도(ground-truth supervision)와 예측 위험도(prediction risk)에 기반하여 인접한 교사 상태를 선택하는 신뢰도 게이팅 결합 밴드(reliability-gated coupling band)를 결합한다. ImageNet 256x256에서 JAx는 외부 인코더나 아키텍처 또는 샘플링 절차의 변경 없이도 JiT-B/16, L/16, H/16 전반에 걸쳐 FID를 일관되게 향상시키고 수렴을 가속화한다. 그래디언트 진단(gradient diagnostics)은 미니배치 그래디언트 분산의 감소를 추가로 보여주며, 제거 실험(ablation)은 이러한 개선이 시간 재가중치화(time reweighting)만으로는 설명될 수 없음을 보여준다. 이러한 결과는 예측 공간 지도(prediction-space supervision)가 픽셀 공간 생성 모델(pixel-space generative model)에서 표현 정렬에 대한 단순하고 원칙적인 대안을 제공함을 보여준다.
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유
Why DiT Models Underperform as Representation Learners without Long Skip Connections
디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.
사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
SALD: 확산 모델을 위한 자체 참조 이점 학습
SALD: Self-Referenced Advantage Learning for Diffusion Models
언어 모델 적응에 관한 최근 연구들은 학생 모델의 학습된 파라미터로 구동되는 교사 네트워크의 도움을 받아, 시연(demonstration) 또는 피드백으로 강화된 문맥에서 모델의 동작을 평가함으로써 단일 모델이 유익한 학습(training) 신호를 얻을 수 있음을 보여주었습니다. 이러한 내부 참조 원리에 착안하여, 본 연구에서는 확산 모델(diffusion model)이 외부 시연이나 교사 네트워크 없이도 자체 참조 학습 신호를 식별할 수 있는 방법을 탐구합니다. 우리는 동일한 모델을 사용하여 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크인 SALD를 제안합니다. 더 쉬운 낮은 노이즈 경로는 참조 기준을 제공하기 위해 그래디언트(gradient) 추적 없이 평가되는 반면, 더 어려운 높은 노이즈 경로는 학습 그래디언트를 제공합니다. 쉬운 경로의 예측을 직접 증류(distillation)하는 대신, SALD는 두 경로 간 오차의 차이를 활용하여 어려운 경로의 목적 함수를 적응시킵니다. 제안된 이점 유도 확산(Advantage-Guided Diffusion, AGD)은 이러한 상대적 오차를 미분 가능한 샘플 수준의 가중치(weight)로 변환합니다. 시간적 이점 메모리(Temporal Advantage Memory, TAM)는 학습 전반에 걸쳐 상대적 난이도를 누적하고 두 노이즈 수준 간의 향후 간격을 조정합니다. 또한 스펙트럼 이점 분해(Spectral Advantage Decomposition, SAD)는 두 경로의 잔차 파워 스펙트럼을 비교하여 주파수에서 유도된 미분 가능한 잠재 요소 가중치를 구성합니다. 모든 구성 요소는 단일 모델 파라미터 세트를 공유하므로, 학습이나 추론(inference) 중에 외부 교사 네트워크나 추가적인 학습 가능 파라미터가 필요하지 않으며 추론 절차도 수정할 필요가 없습니다. 여러 아키텍처와 데이터셋에 걸친 실험을 통해 생성 품질의 일관된 향상을 입증하였으며, 구성 요소별 절제 연구(ablation study)를 통해 제안된 요소들의 기여도를 정량화했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS 2026