확산 모델을 위한 트랜스포머 기반 문맥 내 스코어 연산자 학습
Transformer-based In-Context Score Operator Learning for Diffusion Models
한국어 초록
확산 모델(Diffusion model)은 일반적으로 단일 목표 분포나 학습(training) 중에 고정된 조건부 변수로 색인화된 분포 계열의 생성 동역학을 학습합니다. 이는 소수의 예제만으로 이전에 보지 못한 새로운 분포에 적응하는 능력을 제한합니다. 본 연구에서는 각 목표 분포를 메타 분포에서 추출된 태스크로 취급하고 추론(inference) 시점에 경험적 문맥 집합(context set)으로 지정하는, 확산 모델을 위한 문맥 내 솔루션 연산자 학습(in-context solution operator learning) 프레임워크를 소개합니다. 제안하는 방법은 문맥 샘플, 노이즈가 추가된 쿼리 포인트, 확산 시간을 태스크 종속적인 스코어로 매핑하는 문맥 내 스코어 연산자를 학습하여, 재학습이나 매개변수(parameter) 업데이트 없이도 보지 못한 태스크에서 역확산 샘플링을 가능하게 합니다. 핵심 관찰 사항은 태스크 종속적 스코어가 가우시안 커널(Gaussian kernel) 조건부 평균 표현을 허용한다는 점입니다. 이의 경험적 Nadaraya--Watson 근사는 우리가 구성한 트랜스포머(transformer) 클래스의 모델을 통해 정확하게 표현될 수 있으며, 이는 제안된 쿼리 종속적 어텐션(attention) 아키텍처에 대한 원리적 토대를 제공합니다. 이 연산자는 여러 태스크 분포에 걸친 분할 상환 노이즈 제거 스코어 매칭(amortized denoising score matching)을 통해 학습됩니다. 또한 문맥 크기, 학습 태스크 수 및 태스크 내 샘플 수, 모델 복잡도, 고유 차원 및 주변 차원의 영향을 정량화하는 일반화 오차 경계를 확립합니다. 수치적으로는 Navier-Stokes, ERA5 기후 데이터, QuickDraw 스케치, Food-101을 포함한 다양한 과학 및 시각 데이터셋에서 본 방법을 평가합니다. 실험 결과는 제안된 방법이 비교적 단순한 태스크 계열에서는 우수한 성능을 보이는 반면, 태스크 복잡도가 증가함에 따라 성능이 저하됨을 보여줌으로써 확산 모델을 위한 문맥 내 학습(ICL)의 가능성과 한계를 모두 보여줍니다.
원문 초록
Diffusion models typically learn the generative dynamics of a single target distribution or a family of distributions indexed by conditioning variables fixed during training. This limits their ability to adapt to a previously unseen distribution from only a small set of examples. We introduce an in-context solution operator learning framework for diffusion models, in which each target distribution is treated as a task drawn from a meta-distribution and is specified at inference time by an empirical context set. Our method learns an in-context score operator that maps the context samples, a noisy query point, and the diffusion time to the task-dependent score, enabling reverse-diffusion sampling on unseen tasks without retraining or parameter updates. A key observation is that the task-dependent score admits a Gaussian-kernel conditional-mean representation. Its empirical Nadaraya--Watson approximation can be represented exactly by a model in our constructed transformer class, providing a principled foundation for the proposed query-dependent attention architecture. The operator is trained through amortized denoising score matching across task distributions. We establish generalization-error bounds that quantify the effects of the context size, the numbers of training tasks and within-task samples, model complexity, and intrinsic and ambient dimensions. Numerically, we evaluate the method on a range of scientific and visual datasets, including Navier-Stokes, ERA5 climate data, QuickDraw sketches, and Food-101. The results show that the proposed method performs well on relatively simple task families, while its performance degrades as task complexity increases, thereby illustrating both the promise and the limitations of in-context learning for diffusion models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증
In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.
엣지 독립성이 실패할 때: 잠재 사회성 사전분포를 이용한 결합 그래프 디퓨전
When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors
이산 그래프 디퓨전 모델은 마르코프 노이즈 모델을 사용한 독립적인 엣지(edge) 업데이트를 통해 그래프 구조를 손상시킨다. 출력 분포에 대한 교환가능성(exchangeability) 요구 조건과 결합되면, 터미널 사전분포(prior)는 필연적으로 에르되시-레니(Erdős–Rényi, E-R) 랜덤 그래프가 된다. 이는 노드 특징(feature) 없는 비조건부 그래프 생성에 근본적인 결과를 초래한다: 큰 그래프의 극한에서, E-R 그래프에 적용된 모든 GNN 디노이저(denoiser)는 대략적으로 E-R 그래프를 출력하여, 효과적인 디노이징(denoising)을 어렵게 만든다. 실제로, 생성된 그래프는 의미 있는 노드 이질성(heterogeneity)과 고차 구조(higher-order structure)를 복원하지 못한다. 이전 모델들은 이를 보완하기 위해 전문화된 노드 특징을 도입했으며, 이를 표현력(expressivity) 문제로 간주했지만, 사전분포의 역할은 검토되지 않은 채로 남아 있었다. 우리는 대신 잠재 사회성 사전분포(Latent Sociability Prior, LSP)와, 잠재 노드 사회성(sociability) 변수와 그래프 구조를 함께 진화시키는 결합(joint) 디퓨전 프로세스를 도입하여 근본 원인을 해결하며, 교환가능성을 유지하면서 엣지 독립성을 제거한다. 기존의 잠재 그래프 디퓨전 방법들과 달리, 사회성 메커니즘은 복잡한 인코더(encoder)를 필요로 하지 않는다: 그 유일한 역할은 엣지 업데이트를 안내하고 궤적(trajectory) 전체에서 노드 이질성을 보존하는 것이다. 우리는 여러 그래프 생성 데이터셋에서 접근법을 검증하고, 제안된 프레임워크가 노드 특징이 없는 기준선(baseline) 방법들보다 그래프 분포를 더 정확하게 포착함을 보인다.
완전 이산 조건부 확산 모델에 대한 유한 표본 보장
Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models
본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.
InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스
InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.
MotherTree: 합성 데이터에 대한 메타러닝으로 의사결정나무 학습 개선하기
MotherTree: Meta-learning on synthetic data improves decision tree training
기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.