텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.
초기 저추력 우주선 임무 설계는 복잡한 해 공간, 다수의 목적함수, 그리고 많은 지역 최솟값(local minima)으로 특징지어지는 전역 탐색(global search) 문제이다. 이 단계에서는 임무 매개변수가 아직 완전히 정해지지 않은 경우가 많아, 다양한 매개변수 값에 대해 새로운 해를 높은 주기로 생성해야 한다. 최적 제어에 대한 간접 접근법과 결합하면, 디퓨전 모델은 고품질 초기 코스테이트(costate)를 나타내는 분포를 학습함으로써 이러한 탐색을 가속화할 수 있다. 그러나 학습 데이터를 생성하는 데는 여전히 많은 비용이 들며, 과거 데이터를 더 잘 활용할 수 있는 여지가 존재한다. 우리는 임무 매개변수에 대한 호모토피(homotopy)와 마르코프 체인 몬테카를로(Markov chain Monte Carlo, MCMC)를 결합하여 학습 데이터를 더 효율적으로 생성하는 전이학습 프레임워크를 제안한다. 이 접근법은 다목적 최적화 문제를 코스테이트 공간에서 정규화되지 않은 목표 분포로부터 샘플링하는 문제로 재구성한다. 우리는 원형 제한 3체 문제(circular restricted three-body problem)에서의 평면 다중 공전(multi-revolution) 전이 궤적에 대해, 계의 질량 매개변수에 대한 호모토피를 적용하여 세 가지 MCMC 알고리즘을 비교한다. 결과는 그래디언트 기반 MCMC 변형이 샘플 품질과 계산 비용 간에 가장 우수한 트레이드오프를 달성함을 보여준다. 테스트 전이 궤적의 경우, 제안된 프레임워크는 보조 제어 변환(adjoint control transformation)과 그래디언트 기반 최적화에 기반한 최신 간접 접근법에 비해 40% 더 많은 실현 가능한 해를 생성하고 더 높은 품질의 파레토 프런트(Pareto front)를 달성한다. 마지막으로, MCMC로 생성된 샘플은 질량 매개변수에 조건화된 디퓨전 모델을 파인튜닝하는 데 사용되어, 기저 해 분포에 대한 전역적 표현을 학습하고 새로운 해를 효율적으로 생성할 수 있게 한다. 이러한 결과는 전이학습 프레임워크가 매개변수가 변화하는 간접 궤적 최적화 문제를 효율적으로 해결하기 위한 실용적인 방법임을 입증한다.
디퓨전 모델(diffusion model)은 실제로 일반화(generalization)가 잘 된다. 역설적으로, 최적의 디퓨전 모델은 학습 데이터를 완전히 암기하여 일반화에 실패하는데, 이는 실제 디퓨전 모델에서 무엇이 일반화를 유도하는지에 대한 의문을 제기한다. 우리는 디퓨전 모델이 디노이징(denoising) 학습 목표에 점진적으로 과적합되어, 중간 노이즈 수준에서 검증 성능과 학습 성능 사이에 일반화 격차(generalization gap)를 만든다는 것을 보인다. 디노이징 오차가 통제된, 완전히 해석적인(analytic) 2차원 토이 모델(toy model)에서, 우리는 이 격차를 모델 오차와 데이터 분포 지지집합(support)의 밀도 사이의 상호작용으로 추적한다. 최적의 디노이징 흐름장(flow field)은 개별 학습 포인트 주변에 날카롭게 국소화(localize)되는 반면, 모델 오차는 학습 포인트의 정확한 재현을 억제하여 매끄럽고 일반화하는 흐름장을 만들어낸다. 마지막으로, 우리는 학습 시점의 과적합이 추론 궤적(trajectory)을 따라 어떻게 나타나는지 검토한다. 우리는 중간 궤적 상태에서 이루어진 예측이 노이즈가 추가된 학습 및 검증 이미지로부터 이루어진 예측과는 구별되는 특징 공간(feature space) 영역을 차지한다는 것을 발견한다. 학습이 진행되고 모델 크기가 커질수록, 이러한 예측들은 검증 데이터에 대한 절대적 유사도가 감소하지 않음에도 불구하고 학습 데이터에 대해 더 큰 상대적 친화도(affinity)를 갖게 된다. 종합적으로, 이러한 결과는 디노이징 목표와 추론 궤적이 구조적 암기(structural memorization)를 서로 다르게 표현한다는 것을 보여준다.
점수 기반 확산 모델(score-based diffusion models)은 다양한 영역에 성공적으로 적용되며 강력한 생성 기법의 한 분류로 부상했습니다. 이러한 경험적 성공에도 불구하고, 그 역학의 기초가 되는 확률미분방정식 및 편미분방정식(PDE)의 안정성과 일관성에 대한 수학적 토대는 여전히 부분적으로만 이해되고 있습니다. 본 연구에서는 콤팩트 지지(compactly supported)를 갖는 데이터 측도의 열류(heat flow)와 연계된 점수 기반 확산 과정을 위한 편미분방정식 프레임워크를 개발합니다. 양의 시간 구간에서 약한 적합성(weak well-posedness)을 확립한 후, 스코어에 대한 날카로운 일측 발산 한계(sharp one-sided divergence bound)를 유도하고 이를 사용하여 생성 포커-플랑크(Fokker--Planck) 방정식에 대한 엄밀한 균일 $L^p$-안정성 추정치를 도출합니다. 이 한계는 리-야우(Li--Yau) 미분 부등식의 유클리드 형태입니다. 엔트로피 안정성 기법을 통해, 유한한 절대 엔트로피와 2차 모멘트를 갖는 양의 종단 밀도에 대해 $t\to0^+$일 때 생성된 법칙들이 데이터 지지집합(data support) 상에 지지되는 확률 측도로 2-바서슈타인(Wasserstein) 거리에서 $\sqrt t$ 속도로 수렴함을 증명합니다. 이는 결정론적 생성과 확률적 생성 모두에 적용됩니다. 결정론적 경우에서는 거의 모든 궤적이 데이터 지지집합의 한 점으로 수렴하며, 경험적 데이터에 대해서는 궤적별 제곱근 속도(trajectory-wise square-root rate)를 추가로 도출합니다. 이러한 결과는 정확한 스코어 역학이 데이터 분포를 반드시 복원하지 않고도 어떻게 데이터 지지집합으로 집중되는지를 명확히 보여줍니다. 명시적으로 해석 가능한 사례를 통해 극한 가중치와 이것이 가우시안 초기화(initialization)에 의존함을 규명하며, 상대 엔트로피 추정치를 통해 스코어 근사의 영향을 정량화합니다. 종합적으로, 이러한 결과들은 안정성 및 집중 메커니즘을 스코어 학습 및 조기 종료(early stopping)와 연결하여 모방 충실도와 생성 다양성 간의 균형에 대한 수학적 관점을 제공합니다.
언어 모델 적응에 관한 최근 연구들은 학생 모델의 학습된 파라미터로 구동되는 교사 네트워크의 도움을 받아, 시연(demonstration) 또는 피드백으로 강화된 문맥에서 모델의 동작을 평가함으로써 단일 모델이 유익한 학습(training) 신호를 얻을 수 있음을 보여주었습니다. 이러한 내부 참조 원리에 착안하여, 본 연구에서는 확산 모델(diffusion model)이 외부 시연이나 교사 네트워크 없이도 자체 참조 학습 신호를 식별할 수 있는 방법을 탐구합니다. 우리는 동일한 모델을 사용하여 각 이미지-캡션 쌍을 두 가지 노이즈 수준에서 평가하는 자체 참조 학습 프레임워크인 SALD를 제안합니다. 더 쉬운 낮은 노이즈 경로는 참조 기준을 제공하기 위해 그래디언트(gradient) 추적 없이 평가되는 반면, 더 어려운 높은 노이즈 경로는 학습 그래디언트를 제공합니다. 쉬운 경로의 예측을 직접 증류(distillation)하는 대신, SALD는 두 경로 간 오차의 차이를 활용하여 어려운 경로의 목적 함수를 적응시킵니다. 제안된 이점 유도 확산(Advantage-Guided Diffusion, AGD)은 이러한 상대적 오차를 미분 가능한 샘플 수준의 가중치(weight)로 변환합니다. 시간적 이점 메모리(Temporal Advantage Memory, TAM)는 학습 전반에 걸쳐 상대적 난이도를 누적하고 두 노이즈 수준 간의 향후 간격을 조정합니다. 또한 스펙트럼 이점 분해(Spectral Advantage Decomposition, SAD)는 두 경로의 잔차 파워 스펙트럼을 비교하여 주파수에서 유도된 미분 가능한 잠재 요소 가중치를 구성합니다. 모든 구성 요소는 단일 모델 파라미터 세트를 공유하므로, 학습이나 추론(inference) 중에 외부 교사 네트워크나 추가적인 학습 가능 파라미터가 필요하지 않으며 추론 절차도 수정할 필요가 없습니다. 여러 아키텍처와 데이터셋에 걸친 실험을 통해 생성 품질의 일관된 향상을 입증하였으며, 구성 요소별 절제 연구(ablation study)를 통해 제안된 요소들의 기여도를 정량화했습니다.
텍스트-이미지 확산 모델(diffusion model)은 반복적인 노이즈 제거(denoising)를 통해 이미지를 생성하므로, 내부 레이어는 단일 정적 표현이 아닌 활성화 궤적을 생성합니다. 최근 희소 오토인코더(SAE)를 사용하여 확산 활성화를 해석 가능한 특징(feature)으로 분해하려는 시도가 있었지만, 대부분의 접근법은 전체 궤적으로부터 학습하기보다는 개별 타임스텝을 분석하거나 시간에 조건을 부여합니다. 전체 궤적에 대해 하나의 SAE를 학습시키면 각 특징이 타임스텝 전반에 걸친 단일 궤적이 되지만, 인접한 활성화는 서로에 대해 대부분 선형적으로 예측 가능하므로 이러한 SAE는 단계마다 계속 이어지는 내용에 잠재 변수(latent)를 소모하게 됩니다. 본 연구에서는 이웃한 타임스텝 사이에 선형 예측기를 적합시키고 초기 활성화 및 이러한 동역학으로 설명되지 않는 잔차로 각 궤적을 표현하는 잔차화된 시간 SAE(ReSAE)를 소개합니다. 이 표현에서 SAE를 학습하는 것은 선형 동역학에 의해 유도된 메트릭 하에서 원본 궤적에 대해 학습하는 것과 동등하며, 선형적으로 예측 가능한 범위를 넘어서는 구조를 잠재 변수가 포착하도록 유도합니다. 각 잠재 변수의 디코더 방향은 노이즈 제거 시간에 걸친 특징 궤적으로서 활성화 공간에 다시 매핑됩니다. Stable Diffusion 1.5와 Diffusion Transformer 전반에서 ReSAE 특징은 전체 궤적에 걸쳐 나타나는 동시에 변화가 궤적에 유입되는 시점을 정확히 짚어내므로, ReSAE는 확산 모델이 시간에 따라 이미지를 생성하는 방식을 연구하는 데 자연스러운 도구가 됩니다.
실제 확산 모델(diffusion model) 샘플링은 제한된 수의 노이즈 제거(denoising) 단계를 거쳐 역시간 ODE 또는 SDE를 시뮬레이션해야 하므로, 이산화 오차(discretization error)를 최소화하기 위한 샘플링 매개변수(parameter) 선택이 매우 중요합니다. 비점근적(non-asymptotic) 수렴(convergence) 한계는 샘플링 복잡도를 특성화하지만, 최악의 경우 상수(worst-case constant)로 인해 타깃의 기하학적 구조가 가려져 매개변수 최적화에 대한 지침을 제공하는 데 한계가 있습니다. 오차의 상한을 구하는 대신, 본 연구에서는 일반적인 매끄러운 역방향 확산에 대한 오일러-마루야마(Euler-Maruyama) 약한 오차 및 프레셰(Frechet) 오차의 점근적으로 정확한 작은 스텝 크기 전개를 도출하고, 가우시안 데이터에 대한 명시적 공식을 제시합니다. 이러한 공식은 타깃의 공분산 스펙트럼에 따라 노이즈 및 리스케일링 스케줄, 확률성 계수(stochasticity coefficient)를 포함한 확산 매개변수를 최적화하기 위한 다루기 쉬운 목적 함수를 제공합니다. 특히 본 이론은 스텝 예산이 적을수록 최적의 확률성이 더 낮아짐을 예측하고, 데이터 전력 스펙트럼에 맞춰 리스케일링 계수를 조정하는 방법을 제시하며, 효과적인 노이즈 스케줄의 새로운 패밀리를 제안하는 동기를 부여합니다. 가우시안 스케일 혼합(GSM)으로의 섭동적 확장은 가우시안 특성과의 차이가 최적 매개변수를 어떻게 변화시키는지 정량화합니다. 마지막으로, 다양한 실제 이미지 데이터셋에 대한 실험을 통해 FID 최적 매개변수가 정성적인 이론적 예측과 일치함을 입증합니다.
확산 모델(diffusion model)에 전달된 단일 텍스트 프롬프트는 순전히 확률적 과정(stochastic process)에 의해 결정되는 광범위한 시각적 출력을 생성하므로, 사용자는 어떤 의미적 변형이 나타날지 직접 제어할 수 없습니다. 이러한 범위를 탐험(exploration)하는 것은 어렵습니다. 무작위 탐색은 범위를 모두 포괄한다는 보장이 없으며, 프롬프트 수정은 단어 선택의 미세한 변화만으로도 생성된 이미지를 크게 바꿀 수 있어 정밀하지 못합니다. 본 연구에서는 체계적인 탐험을 위해 모델 자체가 생성 가능한 조건부 분포를 어떻게 구조화하는지 복원해야 한다고 주장합니다. 우리는 이러한 구조를 생성 매니폴드(generative manifold)로 정식화하고, 주어진 조건화에서 해당 매니폴드의 접공간(tangent space)을 복원하는 방법론인 ELROND를 제시합니다. 이를 위해 고정된 프롬프트의 확률적 실현 간 차이를 역전파하여 얻은 그래디언트를 수집하고, 주성분 분석(PCA) 또는 희소 오토인코더(Sparse Autoencoder)를 사용하여 이를 해석 가능한 방향으로 분해합니다. 우리는 제어된 환경에서 본 방법론이 이 하위 공간을 정확하게 복원함을 보이고, 대규모 모델에서 행동적(behaviorally)으로 이를 검증합니다. 또한 이렇게 복원된 구조가 외부 표현에 의존하는 방식보다 모델 능력의 더 폭넓은 탐험을 가능하게 하며, 재학습 없이도 증류된 모델의 모드 붕괴(mode collapse)를 완화함을 입증합니다.
생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.
자기지도 학습 모델과의 표현 정렬(representation alignment)이 확산 모델(diffusion model) 학습을 개선하는 것으로 나타났으나, 추론 시점의 조건화를 향상시키는 잠재력은 아직 거의 탐구되지 않았습니다. 본 연구에서는 풍부한 의미론적 특성을 지닌 이러한 정렬된 표현을 활용하여 생성 과정에서 특징 기반의 테스트 시점 조건화를 가능하게 하는 프레임워크인 REPA-G(Representation-Aligned Guidance)를 소개합니다. 추론 시 유사도 목적함수(포텐셜)를 최적화함으로써, 사전학습된 특징 추출기에서 추출된 조건 표현을 향해 노이즈 제거(denoising) 과정을 유도합니다. 본 방식은 단일 패치를 통한 패치 수준 매칭부터 전역 이미지 특징 토큰을 사용한 광범위한 의미론적 안내에 이르기까지 다양한 세분성 수준에서 다채로운 제어를 제공합니다. 더 나아가 이를 다중 개념 구성으로 확장하여 서로 다른 개념들을 충실하게 결합할 수 있도록 합니다. REPA-G는 추가 학습 없이 전적으로 추론 시점에만 작동하며, 모호한 경우가 많은 텍스트 프롬프트나 거친 클래스 레이블을 대체할 수 있는 유연하고 정밀한 대안을 제시합니다. 본 접근법은 ImageNet과 COCO에서 고품질의 다양한 생성을 달성합니다. 코드는 https://github.com/valeoai/REPA-G 에서 이용할 수 있습니다.
공분산 및 그람 행렬, 커널 및 어텐션(attention) 행렬, MIMO 채널 행렬, 밀도 연산자 등 점점 더 많은 머신러닝 객체들이 좌표 벡터가 아닌 본질적으로 스펙트럼(spectrum) 형태를 띱니다. 이러한 데이터에 대해 고유값을 좌표별로 오염시켜 디노이징 확산 모델(denoising diffusion model)을 구축하는 방식은 우아하지 못할 뿐만 아니라 잘못된 극한으로 수렴하는데, 이는 고유값들이 독립적으로 움직이지 않고 서로를 밀어내기 때문입니다. 자유 확률론(free probability theory)은 고전적 합성곱(convolution)을 자유 합성곱으로, 스코어를 보이쿨레스쿠(Voiculescu)의 켤레 변수로 대체함으로써 올바른 순방향 프로세스를 제공하지만, 상수 계수를 갖는 자유 확산은 목표 분포의 형태와 무관하게 가능한 유일한 평형 상태가 반원 법칙(semicircular law)뿐이라는 자체적인 한계를 내포하고 있습니다. 본 논문에서는 상태 의존적 자유 변동성(state-dependent free volatility)이 이러한 제약을 해소함을 보입니다. 충분히 정칙(regular)이고 콤팩트 지지(compactly supported)를 갖는 임의의 목표 법칙에 대해, 닫힌 형태의 힐베르트 변환(Hilbert-transform) 드리프트를 통해 해당 법칙을 정상 스펙트럼 분포로 갖는 자유 포커-플랑크(Fokker–Planck) 흐름을 명시적으로 구축합니다. 추가적인 볼록 포텐셜(convex-potential) 조건 하에서, 이 구조는 대역적 완화 확산 해석, 시간 역방향 동역학, 그리고 학습 가능한 스코어를 허용합니다. 이러한 일반화는 단순히 피상적인 확장이 아닙니다. 어떠한 스펙트럼 변수 변환으로도 이를 상수 계수 사례로 환원할 수 없으며, 유계인 비상수 원소를 포함하지 않는 명시적으로 특성화된 계수 군(family)에 대해서만 바서슈타인(Wasserstein) 그래디언트(gradient) 흐름이 됩니다. 우리는 등방성 표본 공분산 행렬의 극한 스펙트럼인 마르첸코-파스투르(Marchenko–Pastur) 법칙에 이 구조를 적용하고 수치적으로 검증합니다: 자유 방식과 좌표별 방식 간의 격차, 여러 행렬 크기에서 시간 역방향 행렬 동역학을 유도하는 정확한 차원 무관 스코어, 설계된 마르첸코-파스투르 평형 상태, 그리고 학습된 스코어를 통한 종단간 생성을 확인합니다.
추측 샘플링(speculative sampling)은 목표 분포(target law)를 보존하면서 저비용 초안(draft) 상태들을 병렬로 검증함으로써 디퓨전 생성을 가속합니다. 최근의 트리 기반 방식들은 Diffusion Greedy Rejection Sampling(D-GRS)에서 볼 수 있듯이 단일 체인 초안보다 병렬 연산 예산을 더 효과적으로 할당합니다. D-GRS는 노드(node)당 조건부 독립인 $K$개의 후보를 생성하고, 생성된 순서대로 순차 검증합니다. 그러나 샘플링된 후보들은 추가적인 목표 모델(model) 평가 없이도 유의미한 순위화가 가능합니다. 이를 활용하기 위해, 순위 인식 리스트 결합(coupling)에 기반한 추측 초안 트리의 검증 규칙인 Rank-Aware Speculative Sampling(RASS)을 제안합니다. RASS는 제안-목표 간 평균 변위에 따라 초안 후보들을 정렬하고, 선택된 제안 분포와 목표 분포 간의 전변동(total variation)을 최소화하도록 최적화된 가중치로 순위를 샘플링합니다. 마지막으로 선택된 후보는 목표와 최대로 결합되며, 잔차 보정을 통해 어떠한 순위 가중치 선택에서도 정확한 샘플링이 보장됩니다. 본 연구는 가우시안 혼합 목표, FFHQ에서의 무조건부 픽셀 공간 생성, CIFAR-10에서의 조건부 생성, COCO2014 프롬프트를 사용한 Stable Diffusion 3.5 기반 잠재 디퓨전에서 RASS를 평가합니다. 표준 샘플링 대비 추측 샘플링의 목표 모델 평가 횟수 비율로 측정했을 때, RASS는 평가된 모든 설정에서 D-GRS보다 향상되었으며 동일한 연산 예산 기준 CIFAR-10에서 약 20%의 성능 향상을 달성했습니다.
증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.
텍스트-이미지 생성(Text-to-image generation)은 사용자가 동일한 프롬프트(prompt)로부터 생성된 여러 이미지를 탐색할 수 있도록 돕습니다. 생성된 이미지들이 유용하기 위해서는, 각 이미지가 학습된 보상(reward)으로 측정되는 사용자의 선호도를 반영해야 할 뿐만 아니라 다양성을 유지하기 위해 서로 시각적으로 달라야 합니다. 기존 방법들은 한계가 존재하는데, 보상과 다양성을 개별적으로 다루거나 단일 종합 점수로 결합하여 높은 다양성이 낮은 보상을 상쇄하도록 만듭니다. 본 논문에서는 생성을 만족화(satisficing) 문제로 정식화하여 이러한 한계를 해결합니다. 즉, 모든 이미지(후보군)는 보상 하한선을 만족해야 하며 이미지 배치(batch)는 다양성 기준선을 만족해야 합니다. 보상 하한선은 최악 후보의 보상과 배치 다양성 사이의 균형을 조절하며, 우리는 이 하한선을 변경함으로써 파레토 프론티어(Pareto frontier)가 정의됨을 보여줍니다. 이 프론티어를 탐색하기 위해, 별도의 학습(training)이 필요 없는 추론(inference) 시점 기법인 SatisDive를 제안합니다. SatisDive는 배치 상대적 보상 기준값을 사용하여 보상이 낮은 후보와 높은 후보를 구분하고, 기준값 미만인 후보에 대해서는 보상 향상을, 기준값 이상인 후보들 간에는 다양성을 강조합니다. Pick-a-Pic에서 동일한 DreamSim 수준일 때, SatisDive는 기본 모델로 FLUX.1-dev와 보상으로 HPSv3를 사용했을 때 FK steering 대비 최악 후보의 보상을 최대 0.43 향상시켰으며, 기본 모델로 SANA-1.6B와 보상으로 ImageReward를 사용했을 때는 최대 0.70 향상시켰습니다. 더 나아가, 겹치는 DreamSim 범위 전반에 걸쳐 SatisDive의 만족도-다양성 곡선은 각 설정에서 FK steering의 곡선을 파레토 지배(Pareto-dominate)합니다.
조건부 이미지 생성의 실질적인 성공은 조건 정렬(condition alignment)과 시각적 충실도(visual fidelity)의 미세한 차이에 달려 있습니다. 분류기 없는 가이던스(CFG)는 이러한 성공의 핵심이지만, 명시적인 기준이 결여되어 있어 유도된 궤적이 의도한 대로 진행되고 있는지 평가하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 스펙트럼 정렬(spectral alignment)이 가이던스 동작을 이해하고 적응형 보정을 통해 가이디드 확산(diffusion) 샘플링을 개선할 수 있는 원리적 기준을 제공함을 보입니다. 분석 결과, 중간 상태의 스펙트럼이 순방향 과정(forward process)의 예상 스펙트럼 변화와의 일관성을 나타내는 지표임을 확인했습니다. 이러한 관찰을 바탕으로, 샘플링 중 해석적 참조 스펙트럼으로부터의 편차를 보정하는 방법인 스펙트럼 보정 가이던스(Spectral Correction Guidance)를 소개합니다. 제안된 방법은 학습(training)이 필요하지 않으며(training-free), 기본 모델을 수정하지 않고도 다양한 확산 백본 및 조건부 생성 태스크에 적용할 수 있습니다. 실험을 통해 텍스트-투-이미지 생성에서 기준선 가이던스 방법 대비 선호도 기반 지표에서 일관된 성능 향상을 보였으며, ImageNet에서 CFG 대비 생성 품질이 향상됨을 입증했습니다. 이러한 개선은 다양한 가이던스 스케일 전반과 더 적은 노이즈 제거(denoising) 스텝에서도 유지됩니다. 분석 및 절제 연구(ablation)는 가이던스 동작과 제안된 방법이 생성 품질에 미치는 영향에 대한 통찰을 제공합니다.
확산 모델(Diffusion model)은 잠재 공간(latent space)에서 성능이 저하되는 경우가 많지만, 이에 대한 형식적인 원인은 여전히 명확히 규명되지 않았습니다. 본 연구에서는 확산 궤적을 따른 최소 평균 제곱 오차(MMSE)의 변화율을 통해 잠재 공간의 확산 가능성(diffusability)을 정량화합니다. 제안하는 프레임워크는 이 MMSE 변화율을 피셔 정보(Fisher Information, FI)와 피셔 정보율(Fisher Information Rate, FIR)의 기여도로 분해합니다. 우리는 등거리 임베딩(isometric embedding)이 내재적 FI를 보존함을 보이고, 약한 부피 왜곡이 제어된 더 넓은 클래스의 bi-Lipschitz 인코더에 대한 정량적 내재적 FI 한계를 확립하는 반면, FIR은 인코더와 데이터 기하학 간의 상호작용에 의해 지배됨을 보입니다. 또한 가우스 평활화된(Gaussian-smoothed) FIR의 국소 안정성 한계에서 차원 압축, 접선 왜곡, 고주파 인코더 곡률, 데이터 다양체 곡률이라는 네 가지 기하학적 기여를 분리하여 분석합니다. 다양한 오토인코더 아키텍처에 대한 실험은 이론이 규명한 기하학적 메커니즘을 정성적으로 뒷받침하며, 테스트된 환경에서 경험적 FI 및 FIR이 생성 품질과 잠재 공간 기하학의 여러 척도를 추적함을 보여줍니다. 이를 통해 우리는 잠재 확산 가능성을 이해하기 위한 포괄적인 분석 프레임워크로서 FI와 FIR을 확립합니다.
개념 소거(concept erasure)는 콘텐츠 거버넌스 및 규정 준수를 지원하기 위해 사전학습(pre-training)된 텍스트-이미지 확산 모델에서 저작권 보호, 개인정보 민감 또는 기타 바람직하지 않은 개념을 제거합니다. 시간이 지남에 따라 소거 요청이 발생함에 따라, 모델은 이전 소거를 되돌리지 않고 새로운 대상을 제거해야 합니다. 기존 방법들은 편집 간 간섭을 제한하지 않아, 유지 세트(retain set) 외부의 잔여 섭동(residual perturbation)이 상호작용하고 누적되어 관련 없는 생성을 저하시키며 때로는 이전에 소거된 대상을 노이즈로 붕괴시키기도 합니다. 본 연구에서는 닫힌 형식 해법(closed-form solver)에 두 가지 부분공간 제약을 부과하는 비학습(training-free) 방식인 CEASE(Continual Erasure via Adaptive Subspace Editing)를 제안합니다. CEASE는 공유 대체물의 토큰 표현을 해법의 불변 행렬에 추가하고, 간섭이 감지되면 누적된 과거 업데이트에서 추출된 주요 출력 방향의 직교 여공간(orthogonal complement)에 현재 업데이트를 투영합니다. 닫힌 형식 분해를 통해 누적된 간섭이 공유 대체물의 반복적인 활성화와 연속적인 업데이트 방향 간의 중첩 때문임을 밝히고, 두 제약 조건이 이러한 각각의 원인을 억제함을 보여줍니다. 유명인, 예술적 스타일 및 인스턴스의 지속적 소거 전반에서 기존 방법들이 일반적인 생성을 저하시키거나 대상을 불충분하게 소거하는 반면, CEASE는 가장 일관된 소거-보존 트레이드오프를 달성합니다.
개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.
희소한 측정값으로부터 시공간적 물리 장(spatiotemporal physical field)을 생성하고 예측하는 것은 관측 데이터가 완전한 장에 대한 분포를 특성화하기에 불충분하기 때문에 어려운 과제입니다. 이는 전체 장 데이터셋(full-field dataset)에 의존하는 기존 데이터 기반 확산 모델(diffusion model)의 한계로 작용합니다. 본 논문에서는 지배 방정식과 공간적으로 희소한 관측값을 결합하여 타당한 복수의 장을 생성하는 물리 정의 확산 프레임워크인 PhysDEM을 소개합니다. 첫째, 측정값 조건부 가우스 기준(measurement-conditioned Gaussian reference)을 편미분 방정식(PDE) 잔차 에너지로 재가중하여 깁스 타깃(Gibbs target)을 구성합니다. 둘째, 디노이징을 표준화된 에너지 유도 평균 보정에 대한 지도 학습으로 환원하는 정확한 조건부 평균 항등식을 유도합니다. 셋째, 물리 변위 확률 흐름(physics-displacement probability flow)을 통해 가우스 기준 항을 상쇄하고, 재학습 없이 가우스 조건화를 통해 측정값 변화에 대응하는 상각 샘플링(amortized sampling)을 가능하게 합니다. 합성 PDE 시스템 및 실제 환경 기반 응용에 대한 실험을 통해 PhysDEM이 일관된 장 복원과 효율적인 샘플링을 지원하면서 테스트된 노이즈 수준에서도 안정적인 진단을 유지함을 입증하여, 장 평가에 대한 실용적 가치를 보여줍니다. 우리가 아는 한, PhysDEM은 사전에 구축된 전체 장 데이터셋 없이도 상각된 시공간 장 추론(inference)을 가능하게 하는 최초의 물리 정의 확산 모델(model)입니다.
텍스트-이미지 확산 모델(diffusion model)은 이미지 합성에서 괄목할 만한 발전을 이루었으나, 개별 학습(training) 예제를 거의 그대로 재현하는 암기(memorization) 현상을 보일 수 있습니다. 효과적인 암기 완화는 대안적인 묘사를 유도하기 위해 유용한 프롬프트(prompt) 정보를 보존해야 합니다. 본 연구에서는 추가적인 노이즈 제거기(denoiser) 평가 없이, 가우시안 평활화(Gaussian smoothing)를 통해 교차 어텐션(cross-attention)을 재분배한 후 콘텐츠 토큰(token)의 기여도를 강화하고 패딩의 기여도를 감쇄하는 학습 불필요(training-free) 방식을 제안합니다. 이러한 개입을 통해 더 강력한 콘텐츠 조건화는 유사한 수준의 학습 이미지 유사도에서도 프롬프트 정렬(alignment)을 향상할 수 있습니다. 국소 분석(local analysis)을 통해 재분배가 국소화된 어텐션 질량을 줄이는 동시에 강화가 공유된 값(value) 정보를 보존하는 조건을 규명합니다. Stable Diffusion v1.4 및 v2.0에서 평가된 모든 평활화 너비는 학습 이미지 유사도 대비 프롬프트 정렬 및 이미지 선호도 모두에 대한 실증적 파레토 최적(Pareto frontier) 선상에 위치합니다. Stable Diffusion에서 선택된 구성은 추가적인 튜닝 없이도 DeepFloyd IF의 템플릿 재현을 감소시킵니다. 이러한 결과는 프롬프트와 일관된 대안적 생성을 위해 조건화 할당과 강도를 함께 제어해야 함을 뒷받침합니다.