PyTorchKR Papers

최신 논문

총 193편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.11506v3cs.CV

역문제를 위한 확산 기반 최적화기의 원칙적 설계

Principled Design of Diffusion-based Optimizers for Inverse Problems

스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.

arXiv:2606.21036v2stat.ML

확산 기반 상태 공간 모델

Diffusion-Driven State Space Models

딥 상태 공간 모델(deep SSM)의 가우시안 잠재 전이 한계와 확산 모델(diffusion model)의 기저 역학 추론 부족을 해결하기 위해, 가우시안 전이를 확산 모델로 대체하는 DDSSM(Diffusion-Driven State Space Model)을 제안하고 순차 데이터에서 오토인코더와 확산 모델의 공동 학습(joint training) 방법을 제시한다. 다중모드 전이를 갖는 시뮬레이션 시계열에서 DDSSM이 최첨단 딥 SSM보다 적합과 예측에서 우수한 성능을 보였다.

arXiv:2607.12121v3cs.DC

FlashDiff: 확산 모델 서빙을 위한 효율적인 지역 실행 및 스케줄링

FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving

확산 모델은 현대의 이미지, 비디오, 오디오 생성의 핵심 백본이 되었지만, 이를 효율적으로 서비스하는 것은 여전히 난제로 남아 있다. 자기 회귀(autoregressive) 디코딩과 달리, 확산 추론(inference)은 많은 노이즈 제거(denoising) 단계에 걸쳐 고차원 공간 또는 시간 잠재 변수(latent)를 반복적으로 갱신한다. 이 전체 영역(all-region) 실행 패턴은 생성 지연 시간을 높이고 서빙 처리량을 제한한다. 기존의 다중 GPU 병렬화 방법은 단계당 연산을 줄일 수 있지만, 종종 상당한 활성화(activation) 교환 오버헤드를 유발하여 통신 비용이 병렬 실행의 이점을 상쇄하거나 심지어 상회하기도 한다. 본 논문은 적응형 지역 실행 및 스케줄링을 통해 추론 효율을 향상시키는 확산 서빙 시스템 FlashDiff를 제안한다. FlashDiff는 확산 정제(refinement)가 잠재 변수 영역이나 노이즈 제거 단계 전반에 걸쳐 균일하지 않다는 관찰에 기반한다. 서로 다른 영역은 종종 서로 다른 속도로 안정화되며, 인접한 단계들은 강한 시간적 상관관계를 보인다. FlashDiff는 이러한 특성을 활용하여 추가 정제가 필요한 영역만 선택적으로 실행하고, 그로 인해 발생하는 연산 여유를 동시 서빙 요청들에 재할당한다. FlashDiff는 세 가지 메커니즘으로 구성된다. 첫째, 초기 단계 어텐션(attention) 신호를 사용하여 잠재 표현을 일관된 실행 영역으로 분해함으로써 의미 구조를 보존하면서 세밀한 병렬성을 드러낸다. 둘째, 경량 런타임 컨트롤러를 사용하여 영역 활성도를 추정하고, 추가 정제가 출력 품질에 영향을 줄 가능성이 낮을 때 영향이 적은 갱신을 우회한다. 셋째, 친화도 인식(affinity-aware) 온라인 스케줄러를 적용하여 의존적인 영역을 공동 배치(co-locate)하고, GPU 간 잔여 부하를 균형 있게 분배하며, 회수된 연산 용량을 재사용하여 서빙 효율을 향상시킨다. 실제 이미지, 비디오, 오디오 워크로드에서 FlashDiff는 종단 간 서빙 지연 시간을 30-97% 줄이고 처리량을 1.2-2.2배 향상시킨다.

arXiv:2610.15856v1cs.LG

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

arXiv:2610.15724v1cs.LG

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.13944v1cs.CV

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

arXiv:2610.13851v1stat.ML

완전 이산 조건부 확산 모델에 대한 유한 표본 보장

Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models

본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.

arXiv:2610.13812v1cs.LG

정확한 가우시안 조건화를 통한 확산 및 흐름 기반 사후 샘플링 포괄

Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning

흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.

arXiv:2610.13765v1cs.LG

엣지 독립성이 실패할 때: 잠재 사회성 사전분포를 이용한 결합 그래프 디퓨전

When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors

이산 그래프 디퓨전 모델은 마르코프 노이즈 모델을 사용한 독립적인 엣지(edge) 업데이트를 통해 그래프 구조를 손상시킨다. 출력 분포에 대한 교환가능성(exchangeability) 요구 조건과 결합되면, 터미널 사전분포(prior)는 필연적으로 에르되시-레니(Erdős–Rényi, E-R) 랜덤 그래프가 된다. 이는 노드 특징(feature) 없는 비조건부 그래프 생성에 근본적인 결과를 초래한다: 큰 그래프의 극한에서, E-R 그래프에 적용된 모든 GNN 디노이저(denoiser)는 대략적으로 E-R 그래프를 출력하여, 효과적인 디노이징(denoising)을 어렵게 만든다. 실제로, 생성된 그래프는 의미 있는 노드 이질성(heterogeneity)과 고차 구조(higher-order structure)를 복원하지 못한다. 이전 모델들은 이를 보완하기 위해 전문화된 노드 특징을 도입했으며, 이를 표현력(expressivity) 문제로 간주했지만, 사전분포의 역할은 검토되지 않은 채로 남아 있었다. 우리는 대신 잠재 사회성 사전분포(Latent Sociability Prior, LSP)와, 잠재 노드 사회성(sociability) 변수와 그래프 구조를 함께 진화시키는 결합(joint) 디퓨전 프로세스를 도입하여 근본 원인을 해결하며, 교환가능성을 유지하면서 엣지 독립성을 제거한다. 기존의 잠재 그래프 디퓨전 방법들과 달리, 사회성 메커니즘은 복잡한 인코더(encoder)를 필요로 하지 않는다: 그 유일한 역할은 엣지 업데이트를 안내하고 궤적(trajectory) 전체에서 노드 이질성을 보존하는 것이다. 우리는 여러 그래프 생성 데이터셋에서 접근법을 검증하고, 제안된 프레임워크가 노드 특징이 없는 기준선(baseline) 방법들보다 그래프 분포를 더 정확하게 포착함을 보인다.

arXiv:2610.13690v1cs.LG

확산 모델을 위한 트랜스포머 기반 문맥 내 스코어 연산자 학습

Transformer-based In-Context Score Operator Learning for Diffusion Models

확산 모델(Diffusion model)은 일반적으로 단일 목표 분포나 학습(training) 중에 고정된 조건부 변수로 색인화된 분포 계열의 생성 동역학을 학습합니다. 이는 소수의 예제만으로 이전에 보지 못한 새로운 분포에 적응하는 능력을 제한합니다. 본 연구에서는 각 목표 분포를 메타 분포에서 추출된 태스크로 취급하고 추론(inference) 시점에 경험적 문맥 집합(context set)으로 지정하는, 확산 모델을 위한 문맥 내 솔루션 연산자 학습(in-context solution operator learning) 프레임워크를 소개합니다. 제안하는 방법은 문맥 샘플, 노이즈가 추가된 쿼리 포인트, 확산 시간을 태스크 종속적인 스코어로 매핑하는 문맥 내 스코어 연산자를 학습하여, 재학습이나 매개변수(parameter) 업데이트 없이도 보지 못한 태스크에서 역확산 샘플링을 가능하게 합니다. 핵심 관찰 사항은 태스크 종속적 스코어가 가우시안 커널(Gaussian kernel) 조건부 평균 표현을 허용한다는 점입니다. 이의 경험적 Nadaraya--Watson 근사는 우리가 구성한 트랜스포머(transformer) 클래스의 모델을 통해 정확하게 표현될 수 있으며, 이는 제안된 쿼리 종속적 어텐션(attention) 아키텍처에 대한 원리적 토대를 제공합니다. 이 연산자는 여러 태스크 분포에 걸친 분할 상환 노이즈 제거 스코어 매칭(amortized denoising score matching)을 통해 학습됩니다. 또한 문맥 크기, 학습 태스크 수 및 태스크 내 샘플 수, 모델 복잡도, 고유 차원 및 주변 차원의 영향을 정량화하는 일반화 오차 경계를 확립합니다. 수치적으로는 Navier-Stokes, ERA5 기후 데이터, QuickDraw 스케치, Food-101을 포함한 다양한 과학 및 시각 데이터셋에서 본 방법을 평가합니다. 실험 결과는 제안된 방법이 비교적 단순한 태스크 계열에서는 우수한 성능을 보이는 반면, 태스크 복잡도가 증가함에 따라 성능이 저하됨을 보여줌으로써 확산 모델을 위한 문맥 내 학습(ICL)의 가능성과 한계를 모두 보여줍니다.

arXiv:2610.13614v1stat.ML

생성형 확산과 최적 수송 간의 연결성에 관한 고찰

Some remarks on the connection between generative diffusion and optimal transport

본 논문에서는 생성형 확산(generative diffusion)과 최적 수송(optimal transport) 사이의 세 가지 단순한 연결성에 대해 논의한다. 첫째, 데이터와 데이터의 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 노이즈화 간의 결합 법칙은 모든 시점에서 노이즈 수준에 의해 설정된 온도에서의 엔트로피 최적 수송 문제의 해가 된다. 결과적으로 역방향 확산은 엔트로피 정규화(regularization)를 점진적으로 감소시키는 어닐링(annealing) 과정으로 해석될 수 있다. 둘째, 생성 과정에서 데이터 분포의 모드(mode)가 어떻게 출현하는지를 나타내는 분화 전이(speciation transition)를 연구하고, 확산 및 플로우 매칭(flow matching)에서 이러한 현상이 최적 수송과 비교하여 어떻게 일어나는지 비교한다. 고차원 예시로 가우시안 혼합(Gaussian mixture)을 활용하여, 확산과 플로우 매칭이 모드를 분리하는 동적 불안정성이 최적 수송에서는 생성 시작 시점의 지수적으로 얇은 경계층(boundary layer)이 되며, 이는 엔트로피 정규화에 의해 완화됨을 보인다. 셋째, 일반적인 구속 포텐셜(confining potential)을 갖는 일반 순방향 동역학을 고려할 때, 스코어(score)에 의해 구동되는 역방향 프로세스 또한 최소 비용이 초기 및 최종 분포 간의 엔트로피 차이가 되는 드리프트 기반 변분 원리를 만족함을 보인다.

arXiv:2610.13369v1cs.LG

정보 병목을 통한 분류기 없는 가이던스의 블랙박스 열어보기

Opening the Black Box of Classifier-Free Guidance via Information Bottleneck

분류기 없는 가이던스(classifier-free guidance, CFG)는 디퓨전 모델(diffusion model)에서 조건부 생성을 개선하는 표준 기법이지만, 그 활성화 스케줄은 보통 경험적으로 선택된다. 실제로 대부분의 기존 CFG 기반 방법은 추론 전 과정에서 사전에 정의된 활성화 정책에 의존하며, 최근의 동적 변형들도 조건 정보가 언제 가장 유용한지에 대한 원칙적인 이론적 설명 없이 수작업으로 설계된 스케줄에 의존하는 경우가 많다. 조건 입력과 점수 함수(score function) 간의 정보적 관련성이 생성 과정에서 어떻게 변화하는지 이해하기 위해, 우리는 정보이론적 관점에서 가이던스가 언제 활성화되어야 하는지를 탐구한다. 본 연구에서는 디퓨전 궤적을 시간에 따라 변화하는 정보 병목(information bottleneck)으로 formalize하고, 조건 정보의 효과성이 샘플링 전 과정에서 균일하지 않으며, 피셔 정보(Fisher-information) 균형 조건으로 특징지어지는 임계 단계 이후에 상당히 강해짐을 보인다. 이러한 통찰에 기반하여, 우리는 추론 시점에 적용 가능한 학습이 필요 없는(training-free) 동적 CFG 전략을 제안한다. 사전에 고정된 스케줄을 지정하는 대신, 우리의 방법은 조건부 및 비조건부 점수 통계로부터 확률 과정(stochastic process)을 구성하고, 추정된 가이던스 이득(guidance gain)이 지정된 임계값을 넘을 때 가이던스를 활성화한다. 이는 조건 주입을 근본적인 생성 동역학과 일치시키는 적응형 활성화 규칙을 만들어내며, 동시에 구간 기반 가이던스를 극한의 특수 사례로 복원한다. 다양한 아키텍처와 과제에 걸친 광범위한 실험은 우리의 방법이 효과적이고 견고하며 널리 적용 가능함을 보여준다. 실증적 개선을 넘어, 우리의 프레임워크는 동적 가이던스 방법에 대한 해석과 조건부 디퓨전 모델에서의 추론 시점 제어를 위한 원칙적인 토대를 제공한다.

arXiv:2610.10989v1cs.LG

다중 대역폭 분포 매칭 증류: 분포 매칭 증류와 Drifting Model의 동치성에 관하여

Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models

연구자들은 효과적인 원스텝 생성 모델(one-step generative model)을 지속적으로 탐구하고 있으며, Drifting Models(Deng et al., 2026)는 최근 원스텝 생성(one-step generation)에서 큰 가능성을 보여주고 있다. 디퓨전 및 플로우 스타일 생성 모델(Diffusion & Flow Style Generative Models, DFSGMs)(Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022)과 Drifting Models(Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026) 사이의 연관성을 밝힌 연구들이 존재한다. 그러나 우리가 아는 한, Drifting Model과 널리 사용되는 증류(distillation) 방법인 분포 매칭 증류(Distribution Matching Distillation, DMD/DMD2)(Yin et al., 2024b;a) 사이에 정확한 대응 관계를 수립한 연구는 아직 없으며, 이는 두 방법의 최적화 목적 함수가 거의 동일함에도 그러하다. 본 논문에서는 사전학습된(pre-trained) DFSGMs의 속도장(velocity-field)/노이즈장(noise-field)을 Drifting Models의 인력장(attraction force field)으로 변환하고, 생성 분포(generative distribution)로부터 반발력장(repulsion force field)을 추정함으로써, Drifting Model의 학습이 분포 매칭 증류와 자연스럽게 동치임을 증명한다. 이러한 동치 개념을 바탕으로, Drifting Model의 관점에서 DMD를 개선한 방법인 다중 대역폭 분포 매칭 증류(Multi-Bandwidth Distribution Matching Distillation, MBDMD)를 제안한다.

arXiv:2610.10875v1cs.LG

Barron 최적 수송 I: 생성 모델링

Barron Optimal Transport I: Generative Modeling

생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.

arXiv:2610.10859v1cs.CV

소수 스텝 증류 텍스트-투-이미지 확산 모델에서 선호도 기반 언러닝 활성화

Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models

텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.

arXiv:2605.09125v2eess.SY

디퓨전 모델과 마르코프 체인 몬테카를로를 이용한 다목적 간접 저추력 궤적의 전이학습

Transfer Learning of Multiobjective Indirect Low-Thrust Trajectories Using Diffusion Models and Markov Chain Monte Carlo

초기 저추력 우주선 임무 설계는 복잡한 해 공간, 다수의 목적함수, 그리고 많은 지역 최솟값(local minima)으로 특징지어지는 전역 탐색(global search) 문제이다. 이 단계에서는 임무 매개변수가 아직 완전히 정해지지 않은 경우가 많아, 다양한 매개변수 값에 대해 새로운 해를 높은 주기로 생성해야 한다. 최적 제어에 대한 간접 접근법과 결합하면, 디퓨전 모델은 고품질 초기 코스테이트(costate)를 나타내는 분포를 학습함으로써 이러한 탐색을 가속화할 수 있다. 그러나 학습 데이터를 생성하는 데는 여전히 많은 비용이 들며, 과거 데이터를 더 잘 활용할 수 있는 여지가 존재한다. 우리는 임무 매개변수에 대한 호모토피(homotopy)와 마르코프 체인 몬테카를로(Markov chain Monte Carlo, MCMC)를 결합하여 학습 데이터를 더 효율적으로 생성하는 전이학습 프레임워크를 제안한다. 이 접근법은 다목적 최적화 문제를 코스테이트 공간에서 정규화되지 않은 목표 분포로부터 샘플링하는 문제로 재구성한다. 우리는 원형 제한 3체 문제(circular restricted three-body problem)에서의 평면 다중 공전(multi-revolution) 전이 궤적에 대해, 계의 질량 매개변수에 대한 호모토피를 적용하여 세 가지 MCMC 알고리즘을 비교한다. 결과는 그래디언트 기반 MCMC 변형이 샘플 품질과 계산 비용 간에 가장 우수한 트레이드오프를 달성함을 보여준다. 테스트 전이 궤적의 경우, 제안된 프레임워크는 보조 제어 변환(adjoint control transformation)과 그래디언트 기반 최적화에 기반한 최신 간접 접근법에 비해 40% 더 많은 실현 가능한 해를 생성하고 더 높은 품질의 파레토 프런트(Pareto front)를 달성한다. 마지막으로, MCMC로 생성된 샘플은 질량 매개변수에 조건화된 디퓨전 모델을 파인튜닝하는 데 사용되어, 기저 해 분포에 대한 전역적 표현을 학습하고 새로운 해를 효율적으로 생성할 수 있게 한다. 이러한 결과는 전이학습 프레임워크가 매개변수가 변화하는 간접 궤적 최적화 문제를 효율적으로 해결하기 위한 실용적인 방법임을 입증한다.

arXiv:2603.13419v3cs.LG

샘플 복제를 넘어서: 디퓨전 모델의 구조적 암기

Beyond Sample Copying: Structural Memorization in Diffusion Models

디퓨전 모델(diffusion model)은 실제로 일반화(generalization)가 잘 된다. 역설적으로, 최적의 디퓨전 모델은 학습 데이터를 완전히 암기하여 일반화에 실패하는데, 이는 실제 디퓨전 모델에서 무엇이 일반화를 유도하는지에 대한 의문을 제기한다. 우리는 디퓨전 모델이 디노이징(denoising) 학습 목표에 점진적으로 과적합되어, 중간 노이즈 수준에서 검증 성능과 학습 성능 사이에 일반화 격차(generalization gap)를 만든다는 것을 보인다. 디노이징 오차가 통제된, 완전히 해석적인(analytic) 2차원 토이 모델(toy model)에서, 우리는 이 격차를 모델 오차와 데이터 분포 지지집합(support)의 밀도 사이의 상호작용으로 추적한다. 최적의 디노이징 흐름장(flow field)은 개별 학습 포인트 주변에 날카롭게 국소화(localize)되는 반면, 모델 오차는 학습 포인트의 정확한 재현을 억제하여 매끄럽고 일반화하는 흐름장을 만들어낸다. 마지막으로, 우리는 학습 시점의 과적합이 추론 궤적(trajectory)을 따라 어떻게 나타나는지 검토한다. 우리는 중간 궤적 상태에서 이루어진 예측이 노이즈가 추가된 학습 및 검증 이미지로부터 이루어진 예측과는 구별되는 특징 공간(feature space) 영역을 차지한다는 것을 발견한다. 학습이 진행되고 모델 크기가 커질수록, 이러한 예측들은 검증 데이터에 대한 절대적 유사도가 감소하지 않음에도 불구하고 학습 데이터에 대해 더 큰 상대적 친화도(affinity)를 갖게 된다. 종합적으로, 이러한 결과는 디노이징 목표와 추론 궤적이 구조적 암기(structural memorization)를 서로 다르게 표현한다는 것을 보여준다.

arXiv:2511.05940v3math.OC

생성형 확산 모델에 대한 편미분방정식 관점

A PDE Perspective on Generative Diffusion Models

점수 기반 확산 모델(score-based diffusion models)은 다양한 영역에 성공적으로 적용되며 강력한 생성 기법의 한 분류로 부상했습니다. 이러한 경험적 성공에도 불구하고, 그 역학의 기초가 되는 확률미분방정식 및 편미분방정식(PDE)의 안정성과 일관성에 대한 수학적 토대는 여전히 부분적으로만 이해되고 있습니다. 본 연구에서는 콤팩트 지지(compactly supported)를 갖는 데이터 측도의 열류(heat flow)와 연계된 점수 기반 확산 과정을 위한 편미분방정식 프레임워크를 개발합니다. 양의 시간 구간에서 약한 적합성(weak well-posedness)을 확립한 후, 스코어에 대한 날카로운 일측 발산 한계(sharp one-sided divergence bound)를 유도하고 이를 사용하여 생성 포커-플랑크(Fokker--Planck) 방정식에 대한 엄밀한 균일 $L^p$-안정성 추정치를 도출합니다. 이 한계는 리-야우(Li--Yau) 미분 부등식의 유클리드 형태입니다. 엔트로피 안정성 기법을 통해, 유한한 절대 엔트로피와 2차 모멘트를 갖는 양의 종단 밀도에 대해 $t\to0^+$일 때 생성된 법칙들이 데이터 지지집합(data support) 상에 지지되는 확률 측도로 2-바서슈타인(Wasserstein) 거리에서 $\sqrt t$ 속도로 수렴함을 증명합니다. 이는 결정론적 생성과 확률적 생성 모두에 적용됩니다. 결정론적 경우에서는 거의 모든 궤적이 데이터 지지집합의 한 점으로 수렴하며, 경험적 데이터에 대해서는 궤적별 제곱근 속도(trajectory-wise square-root rate)를 추가로 도출합니다. 이러한 결과는 정확한 스코어 역학이 데이터 분포를 반드시 복원하지 않고도 어떻게 데이터 지지집합으로 집중되는지를 명확히 보여줍니다. 명시적으로 해석 가능한 사례를 통해 극한 가중치와 이것이 가우시안 초기화(initialization)에 의존함을 규명하며, 상대 엔트로피 추정치를 통해 스코어 근사의 영향을 정량화합니다. 종합적으로, 이러한 결과들은 안정성 및 집중 메커니즘을 스코어 학습 및 조기 종료(early stopping)와 연결하여 모방 충실도와 생성 다양성 간의 균형에 대한 수학적 관점을 제공합니다.

arXiv:2610.01496v2cs.CV

SALD: 확산 모델을 위한 자체 참조 이점 학습

SALD: Self-Referenced Advantage Learning for Diffusion Models

언어 모델 적응에 관한 최근 연구들은 학생 모델의 학습된 파라미터로 구동되는 교사 네트워크의 도움을 받아, 시연(demonstration) 또는 피드백으로 강화된 문맥에서 모델의 동작을 평가함으로써 단일 모델이 유익한 학습(training) 신호를 얻을 수 있음을 보여주었습니다. 이러한 내부 참조 원리에 착안하여, 본 연구에서는 확산 모델(diffusion model)이 외부 시연이나 교사 네트워크 없이도 자체 참조 학습 신호를 식별할 수 있는 방법을 탐구합니다. 우리는 동일한 모델을 사용하여 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크인 SALD를 제안합니다. 더 쉬운 낮은 노이즈 경로는 참조 기준을 제공하기 위해 그래디언트(gradient) 추적 없이 평가되는 반면, 더 어려운 높은 노이즈 경로는 학습 그래디언트를 제공합니다. 쉬운 경로의 예측을 직접 증류(distillation)하는 대신, SALD는 두 경로 간 오차의 차이를 활용하여 어려운 경로의 목적 함수를 적응시킵니다. 제안된 이점 유도 확산(Advantage-Guided Diffusion, AGD)은 이러한 상대적 오차를 미분 가능한 샘플 수준의 가중치(weight)로 변환합니다. 시간적 이점 메모리(Temporal Advantage Memory, TAM)는 학습 전반에 걸쳐 상대적 난이도를 누적하고 두 노이즈 수준 간의 향후 간격을 조정합니다. 또한 스펙트럼 이점 분해(Spectral Advantage Decomposition, SAD)는 두 경로의 잔차 파워 스펙트럼을 비교하여 주파수에서 유도된 미분 가능한 잠재 요소 가중치를 구성합니다. 모든 구성 요소는 단일 모델 파라미터 세트를 공유하므로, 학습이나 추론(inference) 중에 외부 교사 네트워크나 추가적인 학습 가능 파라미터가 필요하지 않으며 추론 절차도 수정할 필요가 없습니다. 여러 아키텍처와 데이터셋에 걸친 실험을 통해 생성 품질의 일관된 향상을 입증하였으며, 구성 요소별 절제 연구(ablation study)를 통해 제안된 요소들의 기여도를 정량화했습니다.

arXiv:2605.27813v2cs.CV

확산 모델 해석을 위한 잔차화된 시간 희소 오토인코더

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models

텍스트-이미지 확산 모델(diffusion model)은 반복적인 노이즈 제거(denoising)를 통해 이미지를 생성하므로, 내부 레이어는 단일 정적 표현이 아닌 활성화 궤적을 생성합니다. 최근 희소 오토인코더(SAE)를 사용하여 확산 활성화를 해석 가능한 특징(feature)으로 분해하려는 시도가 있었지만, 대부분의 접근법은 전체 궤적으로부터 학습하기보다는 개별 타임스텝을 분석하거나 시간에 조건을 부여합니다. 전체 궤적에 대해 하나의 SAE를 학습시키면 각 특징이 타임스텝 전반에 걸친 단일 궤적이 되지만, 인접한 활성화는 서로에 대해 대부분 선형적으로 예측 가능하므로 이러한 SAE는 단계마다 계속 이어지는 내용에 잠재 변수(latent)를 소모하게 됩니다. 본 연구에서는 이웃한 타임스텝 사이에 선형 예측기를 적합시키고 초기 활성화 및 이러한 동역학으로 설명되지 않는 잔차로 각 궤적을 표현하는 잔차화된 시간 SAE(ReSAE)를 소개합니다. 이 표현에서 SAE를 학습하는 것은 선형 동역학에 의해 유도된 메트릭 하에서 원본 궤적에 대해 학습하는 것과 동등하며, 선형적으로 예측 가능한 범위를 넘어서는 구조를 잠재 변수가 포착하도록 유도합니다. 각 잠재 변수의 디코더 방향은 노이즈 제거 시간에 걸친 특징 궤적으로서 활성화 공간에 다시 매핑됩니다. Stable Diffusion 1.5와 Diffusion Transformer 전반에서 ReSAE 특징은 전체 궤적에 걸쳐 나타나는 동시에 변화가 궤적에 유입되는 시점을 정확히 짚어내므로, ReSAE는 확산 모델이 시간에 따라 이미지를 생성하는 방식을 연구하는 데 자연스러운 도구가 됩니다.