본 논문은 확산 기반 이미지 생성에서 효율적이고 확장 가능한 복합 조건화(composite conditioning)를 위한 범용-특화(Universal-to-Specialized) 어댑터인 UNITY를 제안한다. 기존 방법들이 각 조건화 모달리티마다 별도의 어댑터를 학습하는 것과 달리, UNITY는 여러 조건화 유형 전반에 걸쳐 공유 의미론을 공동으로 학습한 뒤 기반 아키텍처를 수정하지 않고 특화한다. 제안하는 2단계 학습 패러다임은 전체 학습 스텝의 절반을 사용하여 모든 조건화 모달리티에 걸친 교차 모달 표현을 포착하는 범용 단계(Universal Stage)와, 남은 학습 예산으로 모달리티별 특징을 정교화하는 특화 단계(Specialization Stage)로 구성된다. UNITY의 핵심은 Morphable Attention Flow(MAF) Network와 Morph Wrapper 모듈로, 학습 가능한 flow field와 어텐션 기반 융합을 통해 채널 인식적이고 공간적으로 적응형인 특징 정렬을 가능하게 한다. 이 상수 복잡도(constant complexity) 공식화는 단일 및 복합 조건화 설정 모두에서 유연한 동작을 지원하면서 추론 지연과 메모리 소비를 크게 줄인다. 여러 데이터셋에 걸친 광범위한 실험은 UNITY가 뛰어난 메모리 효율을 유지하면서 최신(state-of-the-art) 수준의 이미지 충실도를 달성함을 보여준다. Code: https://github.com/arya-domain/UNITY
이 원고는 Wiley의 허가를 받아 게시된 것으로, 곧 출판될 Cover와 Thomas의 *Elements of Information Theory*(정보 이론의 기초) 제3판에 수록될 예정인 장의 프리프린트를 담고 있습니다. 새로운 판의 목차(EIT-3 ToC)는 다음에서 확인할 수 있습니다: https://docs.google.com/document/d/1L-m4oQEJw1PJhoxBeMwrrBD8S_HmvzMEkPbYvS24980/edit?usp=sharing . 피드백은 [email omitted] 문의해 주십시오. 학습과 정보 이론은 모델 학습과 근본적인 성능 한계의 규명에서 서로 교차합니다. 이 원고는 학부 고학년 또는 대학원 1학년 수준의 정보 이론과 통계학 기초 지식만 필요로 하며, 모델 학습 측면에 대해 간결하고 이해하기 쉽게 다룹니다. 장마다 제공되는 연습문제를 통해 이 자료는 수업용으로도 자기 주도 학습용으로도 적합합니다. 이 장은 모델 학습에서 발산(divergence) 척도의 역할에 초점을 맞추며, 선형 및 로지스틱 회귀부터 자기회귀 모델, 변분 오토인코더(VAE), 확산 모델, 생성적 적대 신경망(GAN), 그리고 점수 기반 모델에 이르는 다양한 예시를 다룹니다. 또한 증거 하한(ELBO), f-발산, 피셔 발산을 소개합니다. 특히 생성적 확산 모델을 다룰 때, 기존 문헌에서 일반적으로 제시되는 방식보다 더 체계적이고 명시적인 유도 과정을 제공합니다.
분류기 가이던스(Classifier guidance)는 노이즈 조건부 분류기(noise-conditioned classifier)를 사용하여 샘플링 과정을 타겟 클래스(target class)로 유도함으로써 디퓨전 생성을 제어하는 방법입니다. 분류기 가이던스의 단점 중 하나는 분류기와 디퓨전 모델(diffusion model)이라는 두 개의 별도로 학습된 모델이 필요하다는 것입니다. 따라서 우리는 기존 방식으로 학습된 음성 분류기를 디퓨전 생성의 백본(backbone)으로 재활용하는 더욱 컴팩트한 대안을 연구합니다. Log-Mel 공간의 고정된 노이즈 조건부 분류기에서 시작하여, 분류기 중간 표현을 재사용하는 경량 서브네트워크를 연결하고 Denoising Score Matching 목적 함수 하에서 이 서브네트워크만 학습합니다. 우리의 연구는 사전학습된 분류기가 조건부 생성을 위해 재활용될 수 있음을 보여주며, 이는 판별 모델링(discriminative modeling)과 조건부 음성 합성 사이의 매력적인 가교를 제공합니다. 그 결과 단일 백본 모델 내에서 높은 음성 품질을 달성하면서 메모리 사용량과 계산 비용을 줄일 수 있습니다.
스코어 기반 디퓨전 모델의 놀라운 성공은 이론적 기초를 확립하려는 상당한 노력을 촉진했습니다. 그러나 스코어 근사에 대한 기존 복잡도 경계는 립시츠 연속 밀도나 매끄러운 다양체 지지 집합과 같은 제한적인 가정에 크게 의존하는데, 이는 실세계 지각 데이터에 내재된 특이점, 뚜렷한 경계, 분리된 군집에 의해 빈번하게 위배됩니다. 본 연구는 상 민코프스키 차원 $d$를 갖는 임의의 컴팩트 집합에서 지지되는 모든 분포에 대해 작동하는 보편적 스코어 근사 정리를 확립합니다. 새로운 이산 혼합 공식을 사용하여, 스코어 함수는 복잡도가 $d$에 대해서만 지수적으로 증가하는 렐루 네트워크로 근사될 수 있음을 증명하며, 이를 통해 주변 차원의 지수적 저주를 극복합니다. 임의의 컴팩트 분포에 대해 역방향 디퓨전 확률 미분 방정식(SDE)을 정확하게 푸는 기존 이론과 결합하여, 본 연구는 디퓨전 모델이 불규칙하고 비매끄러운 데이터 구조에 쉽게 적응할 수 있음을 보여주며, 이는 실세계 생성 작업에서의 능력을 설명합니다.
생성 모델은 개별적으로 타당한 샘플을 생성할 수 있지만, 주요 특징(feature)의 분포 측면에서는 목표 집합과 크게 다를 수 있습니다. 예를 들어, 광범위한 약물 유사 화학 공간에서 사전학습(pre-training)된 모델은 알려진 항생제와 같은 관심 치료 클래스의 분자 특징과 다른 분자를 생성할 수 있습니다. 이러한 분포적 오차를 수정하는 것은 어렵습니다. 목표 집합에 대한 직접 파인튜닝(fine-tuning)은 과적합(overfitting)을 유발할 수 있으며, 어떤 특징이 일치하는지 제어하지 못합니다. 이러한 격차를 해소하기 위해 우리는 커널(kernel) 보정 생성 모델(kCGM)을 소개합니다. kCGM은 사전학습된 모델에 가깝게 유지하기 위한 KL 정규화(regularization)와 함께 편향되지 않은 점수 함수 추정기를 사용하여 생성된 특징 분포와 목표 특징 분포 간의 최대 평균 차이(MMD)를 최소화합니다. 174개의 항생제로 구성된 목표 집합에서 직접 파인튜닝은 특징 분포 일치를 위해 화학적 타당성을 희생하는 반면, kCGM은 타당성을 높이면서 목표 특징 일치를 개선합니다. 우리는 단백질 및 DNA 생성 작업에서 kCGM을 추가로 시연하여, 특징 수준의 감독(supervision)만을 사용하여 자기회귀(autoregressive), 연속 공간 확산(continuous-space diffusion), 이산 확산(discrete diffusion) 모델을 적응시킬 수 있음을 보여줍니다. 코드는 https://github.com/smithhenryd/cgm 에서 확인할 수 있습니다.
디퓨전 모델은 고충실도 3D MRI 합성에 필수적이 되었으나, 샘플당 수백 번의 U-Net 평가와 매우 이질적인 커널 동작에서 발생하는 상당한 GPU 자원 요구사항으로 인해 배포(deployment)가 제한됩니다. 본 논문은 최첨단 의료용 디퓨전 모델인 Med-DDPM에 대해 3세대 NVIDIA 아키텍처에 걸쳐 포괄적인 성능 분석을 수행하여 커널 수준 런타임 분석, 명령어 혼합 특성, 메모리 시스템 활용도, warp 수준 활동 및 프로파일러 우선순위 점수 추정을 연구합니다. 우리는 학습(training)이 cuDNN 합성곱(convolution) 및 implicit-GEMM 커널(kernel)에 의해 압도적으로 지배됨을 보여주며, 비효율성은 메모리 접근 패턴, 텐서(tensor) 레이아웃 변환 및 제한된 Tensor Core 활용도에서 기인함을 보여줍니다. 이러한 통찰력에 따라, 우리는 TF32 Tensor Core 활성화와 3D channels-last 레이아웃이라는 두 가지 아키텍처 인식 최적화를 평가하고, 이들이 A100에서 SM 사이클을 최대 100배 줄이고, 동적 명령어를 100배 줄이며, Tensor Core 활용도를 1.45배에서 9.98배로 높이고, IPC를 7% 증가시키며 합성 품질을 저하시키지 않음을 입증합니다.
스타일 캡션 기반 텍스트 음성 변환(TTS) 시스템은 자연어를 사용하여 음성 특성을 제어하지만, 개별 단어가 음향 출력에 미치는 영향은 여전히 불분명합니다. 이를 이해하는 것은 표현력 있는 TTS의 실패 모드를 진단하고 제어 가능성을 개선하는 데 중요합니다. 본 연구에서는 음성 확산 모델을 위한 크로스 어텐션 귀인(cross-attention attribution)을 제안하며, DAAM 프레임워크를 처음으로 음성 도메인에 적용하여 CapSpeech-TTS에 활용합니다. 제안하는 방법은 25개 층과 24개 ODE 단계에 걸쳐 토큰당 히트맵을 추출합니다. 30개의 텍스트 대본 생성을 각각 조건화하는 120개의 스타일 캡션으로 구성된 총 3,600개의 (스타일 캡션, 텍스트 대본) 조합을 분석하여, 캡션 토큰이 파형을 형성하는 방식을 규명합니다. 결과는 다음을 보여줍니다: (1) 스타일 토큰은 내용/기능 토큰보다 시간적 분산이 낮아 전역적 조건화를 확인하며; (2) 스타일 어텐션은 F0(기본 주파수) 및 에너지와 상관관계가 있고; (3) 스타일 조건화는 초기 단계와 깊은 층에서 정점을 이루며; (4) 어텐션 엔트로피는 층 17에서 최소가 되는데, 이는 스타일 중요도의 정점과 일치하며 가장 스타일이 중요한 단계에서 네트워크 선택성이 최대임을 나타냅니다. 이는 자연어가 음성 확산 모델 내 크로스 어텐션에 미치는 영향을 연구한 첫 번째 사례입니다.
불확실성 하의 계획(Planning)은 자율 로봇에게 필수적인 능력입니다. 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)은 이러한 능력을 위한 강력한 프레임워크를 제공합니다. POMDP 기반 계획법은 상당히 발전했지만, 충실한 POMDP 모델을 확보하는 어려움으로 인해 실제 문제에의 적용이 종종 제한됩니다. 본 논문에서는 불확실성 하의 온라인 계획을 위해 작업 비의존적(task-agnostic) POMDP 모델을 학습하는 프레임워크인 VOiLA(Vectorized Online planning wIth Learned diffusion model for POMDP Agents)를 제안합니다. VOiLA는 조건부 디퓨전 모델을 사용하여 상태 전이(transition) 및 관측(observation) 샘플러를 학습하고, 파티클 기반 신뢰도(belief) 업데이트를 위해 관측 가능도(observation-likelihood) 모델을 학습합니다. 효율적인 온라인 계획을 가능하게 하기 위해, 디퓨전 샘플러는 압축된 피드포워드 생성기로 증류(distillation)되며, GPU 병렬화를 활용하도록 설계된 온라인 POMDP 계획기인 VOPP(Vectorized Online POMDP Planner)와 통합됩니다. 실험 결과, 이 증류 전략은 샘플링 비용을 최대 거의 3자릿수(orders of magnitude)까지 줄여주어, 학습된 생성형 POMDP 모델을 온라인 계획에 실용적으로 만들어줍니다. 세 가지 벤치마크 문제에 대한 VOiLA의 평가 결과, VOiLA는 학습 데이터의 10% 미만을 사용하면서도 Recurrent Soft Actor Critic과 동등하거나 더 우수한 성능을 달성하고, 보이지 않은 환경 구성(unseen environment configurations)에 훨씬 더 잘 일반화함을 보여줍니다. 실제 로봇 평가 결과, VOiLA는 시뮬레이션 데이터만을 사용하여 학습된 모델을 활용하며, 10번의 실행 모두에서 작업을 성공적으로 완수하는 정책을 생성함을 나타냅니다.
조건부 확산 및 플로우 모델은 종종 해당 작업을 정의하는 제약 조건을 충족하지 못합니다. 예를 들어, 깊이(depth) 조건부 모델은 학습 및 추론 과정 모두에서 사용 가능한 순방향 연산자(forward operator)인 제약 조건을 정의하는 깊이 예측기에도 불구하고, 재추출된 깊이가 입력과 일치하지 않는 이미지를 생성하는 경우가 많습니다. 기존 접근 방식은 일반적으로 두 가지 범주로 나뉩니다. 하나는 조건 신호를 정적 단서(static cue)로 취급하여 추론 시 정렬 정보를 무시하는 지도 학습(supervised) 모델이고, 다른 하나는 수동으로 튜닝된 선형 업데이트를 통해 이를 참조하지만, 일반적으로 조건에 대한 충실도와 생성 샘플의 타당성 사이의 상충(trade-off)을 감수하는 가이던스 기반 방법입니다. 우리는 두 패러다임 모두의 근본적인 격차는 모델이 자체 정렬 오류를 활용하도록 학습된 적이 없다는 것이라고 주장합니다. FlowBender를 소개합니다. 이는 이러한 오류를 1급 입력으로 처리하여 네트워크가 추론 시점 피드백에 조건화된 교정 정책을 학습하도록 훈련시키는 폐루프(closed-loop) 프레임워크입니다. 각 단계에서 가이던스가 없는 미리보기(look-ahead) 패스는 깨끗한 신호를 추정하고, 순방향 연산자를 통해 작업 특화 편차가 계산되며, 정제(refinement) 패스는 이 신호를 사용하여 수정된 속도(velocity)를 생성합니다. 미분 가능한 연산자를 위한 그래디언트 기반 공식화와 JPEG 압축과 같은 미분 불가능한 설정을 위한 0차(zero-order) 변형을 포함하여 FlowBender의 여러 변형을 제안합니다. 효율적인 샘플링을 위해 최소의 추가 계산 비용으로 폐루프 교정을 가능하게 하는 이전 단계 지름길(prior-step shortcut)을 도입합니다. 이미지-투-이미지 변환, 복원, 3D 메시 텍스처링 전반에 걸쳐 FlowBender는 표준 지도 학습 기준선(baselines), 정렬 손실이 추가된 학습, 최신 추론 시점 가이던스를 일관되게 능가하며, 이를 상충시키는 대신 충실도와 타당성을 동시에 향상시킵니다.
깨끗한 픽셀 기반 보상(reward) 모델을 사용하여 비디오 생성을 평가하는 것은 평가를 노이즈가 많은 디퓨전 과정과 단절시키며 막대한 VAE 디코딩 비용을 초래합니다. 본 논문에서 우리는 근본적인 질문을 던져 이 패러다임에 도전합니다: 강력한 비디오 생성기는 노이즈가 섞인 잠재(latent) 표현에서 직접 선호를 본질적으로 판별할 수 있을까요? 이에 답하기 위해 우리는 PRISM(디퓨전 모델 중간 상태의 선호 표현)을 소개합니다. PRISM은 노이즈가 섞인 잠재 표현에서 선호 신호를 디코딩하기 위해 경량의 쿼리 기반 집계 헤드와 동결된 비디오 디퓨전 백본을 활용합니다. 놀랍게도 PRISM은 최첨단(SOTA) 선호 정확도를 달성할 뿐만 아니라 강력한 노이즈 강건성(robustness)을 발휘하여 초기 단계 Best-of-$N$ 샘플링을 가능하게 합니다. 이를 통해 디노이징의 막 시작 단계에서 준최적 후보군을 필터링할 수 있어, 비디오 품질을 향상시키면서 계산량을 획기적으로 줄일 수 있습니다. 또한 우리는 백본의 생성 성능과 그 본질적인 평가 능력 사이의 강한 양의 상관관계를 밝혀내어, 자기 개선(self-improving) 비디오 백본을 가능하게 합니다.
메이크업 전이 모델은 증강 현실(AR) 체험을 가능하게 할 뿐 아니라 온라인 메이크업 쇼핑을 위한 가상 체험(VTO)도 지원한다. 최근 Stable-Makeup과 같은 최신 디퓨전 기반 솔루션은 메이크업 전이의 정확도와 사실성을 크게 향상시켰지만, 여전히 신원 및 피부색 보존에서 한계가 있어 메이크업 쇼핑을 위한 프로덕션 수준의 VTO는 비현실적이다. 본 연구에서는 얼굴 특징과 피부톤 보존에 상당한 진전을 이루는 디퓨전 기반 메이크업 전이 방법인 MakeupMirror를 제안한다. Stable-Makeup 대비 여러 기술적 혁신을 도입한다: (1) ControlNet과 얼굴 기하 조건부 정보를 통합하여 얼굴 충실도를 유지하는 방법; (2) 피부, 눈, 입술 등 얼굴 영역에 걸쳐 정밀한 메이크업 적용을 가능하게 하는 영역별 메이크업 전이 제어; (3) 피험자 간 전이 시나리오에서 피부톤 변화를 방지하는 피부톤 기반 메이크업 전이 변조; (4) 생성 품질을 유지하면서 추론을 가속화하기 위한 Levenberg-Marquardt Langevin 샘플러 통합. CPM-Real, Makeup Wild, 그리고 (본 논문에서 새로 수집한 보다 다양한) MakeupSelfies 데이터셋에 대한 실험 결과, MakeupMirror는 Stable-Makeup 대비 상대 얼굴 인식 유사도를 +60% 향상시키고 상대 피부톤 차이를 -50% 줄이며, 지연 시간 0.7초로 핵심 얼굴 신원 보존 기준에 걸쳐 94%의 전문가 수용률을 달성하였다.
전통적인 애니메이션 제작은 키포즈 디자인, 인비트윈(in-betweening), 캐릭터 채색과 같은 작업에 있어 수동 그리기와 반복적인 수정에 크게 의존합니다. 기존 애니메이션 및 비디오 생성 방법들은 눈에 띄는 진전을 이루었지만, 일반적으로 RGB 경계 프레임, 조밀한 프레임 단위 조건, 또는 완전한 스케치 시퀀스에 의존하므로 저비용 입력 조건에서의 적용 가능성이 제한됩니다. 우리는 희소한 키 스케치 입력으로부터 구조적으로 제어 가능하고, 외관이 일관되며, 시간적으로 일관성 있는 애니메이션을 생성하기 위한 비디오 디퓨전 프레임워크인 SketchKeyAnime를 제안합니다. 단일 참조 RGB 이미지와 시간 인덱스가 지정된 몇 개의 키 스케치가 주어지면, SketchKeyAnime는 국소 기하학적 제약 조건과 의미-시간적 컨텍스트를 함께 인코딩하기 위해 이중 분기 조건 메커니즘을 도입합니다. 이는 학습 가능한 게이팅(gating)을 통해 참조 이미지와 스케치 조건을 융합하기 위해 Sketch Cross 어텐션(attention)을 활용하고, 키 스케치 프레임 및 선화(line-art) 영역에 대한 감독(supervision)을 강화하기 위해 적응형 가중 손실(Adaptive Weighted Loss)을 통합합니다. Sakuga-42M의 Aesthetic 서브셋에 대한 실험 결과, 우리의 접근 방식이 대표적인 애니메이션 보간 및 스케치 기반 생성 기준선(baselines)을 일관되게 능가함을 보여줍니다. 가장 성능이 좋은 기준선(baseline)과 비교했을 때, SketchKeyAnime는 EDMD를 31.9%, FVD를 9.5% 감소시켜 우수한 스케치 충실도와 시간적 일관성을 입증했으며, 대부분의 정량적 지표에서 최고의 전반적인 성능을 달성했습니다. 이러한 결과는 제안된 프레임워크를 검증하고 저비용 및 고도로 제어 가능한 애니메이션 창작에 대한 잠재력을 강조합니다.
다중 표현 확산 모델은 이미지의 상호 보완적인 뷰를 디노이징함으로써 시각적 합성을 개선할 수 있지만, 그 성능은 각 표현이 디노이징되는 시기를 결정하는 비동기 스케줄에 크게 의존합니다. 우리는 이 스케줄을 학습하는 방법을 제안합니다. 우리의 방법은 여러 표현 공간에 걸친 비동기 플로우 매칭(flow matching)을 공식화하고, 스케줄이 변경될 때 각 표현의 로컬 노이징 시간 가중치를 고정하는 스케줄 보정 목적 함수(objective)를 사용합니다. 우리는 구조적으로 볼록(convex)하고 단조(monotone)인 유연한 파라메트릭 클래스로 스케줄을 구체화하고, 학습 연산(compute)을 1% 미만만 추가하는 빠른 조인트 프로브(joint probe)를 사용하여 이를 학습합니다. ImageNet 256x256에서, 학습된 스케줄은 동일한 675M 매개변수 XL 백본(backbone) 하에서 수렴 속도와 최종 품질 모두를 실질적으로 개선했습니다. AutoGuidance를 사용하면, 우리의 200 에포크 모델은 FID 1.05에 도달하여, 학습량이 4배 적은 상태에서 800 에포크 SFD-XL 기준선(baseline)과 동일한 성능을 보입니다. 600 에포크까지 학습하면 FID 1.02로 더 개선되어, 더 작은 모델을 사용하면서도 1B 매개변수 SFD-XXL의 FID 1.04 결과를 능가합니다. 가이드가 없는 설정(unguided setting)에서, 우리의 200 에포크 모델은 FID 2.37에 도달하여, 학습량이 4배 적은 상태에서 이미 최고의 800 에포크 SFD-XL 결과(2.54)보다 낮으며, 600 에포크에서는 FID 2.14로 개선됩니다. 코드는 https://github.com/bsq532087/LWD 에서 확인할 수 있습니다.
최근 멀티모달 대규모 언어 모델(MLLM)들이 주로 텍스트 인코더로서 디퓨전 프레임워크에 널리 통합되어 공간 추론과 같은 복잡한 작업을 해결하고 있습니다. 그러나 이 패러다임은 두 가지 치명적인 한계가 있습니다: (i) MLLM 텍스트 인코더는 불충분한 추론 깊이를 보입니다. 단일 단계 인코딩은 복잡한 작업에 대해 정확한 가이던스를 제공하는 데 필수적인 사고의 연쇄(Chain-of-Thought) 과정을 활성화하지 못합니다. (ii) 가이던스가 디코딩 과정 동안 불변으로 유지됩니다. 디코딩 과정 중의 불변 가이던스는 올바른 MLLM 인코딩이 있더라도 DiT가 복잡한 지시를 실행 가능한 디노이징 단계로 점진적으로 분해하는 것을 방해합니다. 이를 위해 우리는 내재적 사고의 연쇄(EndoCoT)를 제안합니다. 이는 반복적 사고 가이던스 모듈을 통해 잠재적 사고 상태를 반복적으로 정제하여 MLLM의 추론 잠재력을 먼저 활성화하고, 이러한 상태를 DiT의 디노이징 과정으로 연결하는 새로운 프레임워크입니다. 둘째, 최종 사고 그라운딩(grounding) 모듈을 적용하여 최종 상태를 정답(ground-truth)과 정렬시킴으로써 추론 궤적이 텍스트 감독에 기반하도록 보장합니다. 이 두 구성 요소를 통해 MLLM 텍스트 인코더는 면밀하게 추론된 가이던스를 전달하여, DiT가 이를 점진적으로 실행하고 궁극적으로 복잡한 작업을 단계별 방식으로 해결할 수 있게 합니다. 다양한 벤치마크(예: Maze, TSP, VSP, Sudoku)에 대한 광범위한 평가 결과 92.1%의 평균 정확도를 달성하여 가장 강력한 기준선(baseline)보다 8.3%포인트 높은 성능을 보였습니다. 코드와 데이터셋(dataset)은 https://internlm.github.io/EndoCoT/에서 공개적으로 제공됩니다.
스케치는 본질적으로 순차적입니다: 획(stroke)은 아이디어를 탐험하고 정교화하기 위해 점진적으로 그려집니다. 그러나 대부분의 생성적 접근법은 스케치를 정적 이미지로 취급하여, 창의적 탐험의 기저에 있는 시간적 과정을 무시합니다. 이러한 순차적 구조를 모델링하는 것은 여전히 어렵습니다: 기존 방법들은 다양성이 제한된 대규모 인간 그림 데이터셋에 의존하거나, 그리기 지시를 생성하기 위해 대규모 언어 모델(LLM)을 사용하는데, 이는 종종 시각적 충실도를 희생합니다. 본 논문에서는 VideoSketcher를 제안합니다. 이 방법은 사전학습된 텍스트-비디오 디퓨전 모델을 스케치 형성의 희소하고 연속적인 특성에 적응시켜 고품질의 스케치 과정을 생성합니다. 우리의 핵심 통찰은 LLM과 비디오 디퓨전 모델이 상호 보완적인 강점을 제공한다는 것입니다. LLM은 개념을 단계별 지시로 분해하는 의미론적 계획자(semantic planner)로 작용하는 반면, 비디오 디퓨전 모델은 이를 시간적으로 일관된 스케치 시퀀스로 변환하는 강력한 "렌더러" 역할을 합니다. 우리는 시간적 구조를 시각적 외관에서 분리하는 2단계 미세조정(fine-tuning) 전략을 도입합니다: 획 순서는 합성 형상 구성에서 학습되는 반면, 스타일은 단 7개의 손으로 그린 예시로부터 증류됩니다. 최소한의 지도(supervision)에도 불구하고, 우리의 방법은 지정된 그리기 순서를 충실히 따르는 다양하고 고품질의 순차적 스케치를 생성할 수 있습니다. 우리의 프레임워크는 브러시 스타일 제어와 자기회귀 생성(autoregressive generation)으로 자연스럽게 확장되어 예술적 응용을 지원합니다.
우리는 경험적 위험 최소화를 통한 스코어 함수 추정 문제를 다룹니다. 우리는 먼저 평탄 토러스(flat torus) 상에 밀도를 갖는 확률 측도 $μ$의 표본으로부터 해당 확률 측도의 스코어 함수를 추론하는 문제부터 시작합니다. 가설 공간을 소볼레프 공(Sobolev ball)으로 제한하는 것이 과적합을 방지하고 미니맥스 추정 속도를 얻기에 충분하다는 것을 보여줍니다. 그 다음으로, 스코어 기반 생성 모델링(score-based generative modeling) 맥락에서의 스코어 함수 추정 문제를 고려합니다. 마찬가지로, 스코어 추정 속도를 스코어 기반 생성 모델의 출력 품질과 연결하는 추측 하에서, 가설 클래스를 소볼레프 공으로 제한하여 획득한 스코어 함수 추정기를 사용하여 해당 접근 방식에 대한 미니맥스 속도를 얻습니다.
스코어 매칭(Score Matching) 및 플로우 매칭(Flow Matching) 모델은 종종 두 가지 목적을 위해 선호 기반 강화학습(RL)에 의존합니다: 주관적 선호와의 정렬, 그리고 놀랍게도 매칭 기반 학습이 데이터 자체에서 학습하도록 의도된 시각적 사실성 및 일관된 객체 구조와 같은 속성을 복원하는 것입니다. 우리는 이것이 구조적 불일치(structural mismatch)를 반영한다고 주장합니다. 매칭 손실은 학습 시간 주변 분포(training-time marginals) 하에서 속도 또는 스코어 필드에 대한 $\ell_2$ 회귀 오차를 측정하는데, 이는 추론 시 샘플 품질을 결정하는 시각적 및 의미론적 속성과 잘 정렬되지 않는 대리 지표(proxy)입니다. 이러한 속성과 정렬된 보상이 주어지면, 강화학습(RL)은 모델 자체의 샘플에서 모델을 평가하고 보상 지형을 직접 따름으로써 불일치를 우회합니다. 문제는 비용이 많이 들고 데이터 사실성을 주석자의 성향과 혼동하는 인간 선호에 의존하지 않고 그러한 보상을 얻는 것입니다. 우리는 판별자-안내 강화학습(Discriminator-Guided RL, DRL)을 제안합니다. DRL은 사전학습된 표현 공간(pretrained representation space)에서 데이터를 기본 모델(base-model) 샘플로부터 분리하도록 판별자를 학습시키고, KL 정규화 강화학습(RL)에서 해당 로짓을 보상으로 사용합니다. 사전학습된 공간은 판별자를 지각적으로 의미 있는 방향으로 제한하며, 로짓은 데이터와 모델 사이의 로그 가능도 비율(log-likelihood ratio)을 추정하는데, 이는 데이터 분포를 목표로 하는 최적의 보상입니다. SiT, JiT, REPA, RAE에 걸쳐, DRL은 가이던스 없는(guidance-free) FID(예: SiT에서 $9.38 \to 2.62$)와 의미 공간 FD(예: SiT의 DINOv3에서 $88.2 \to 19.3$)를 감소시켰으며, 모든 백본에서 일관된 개선을 보였고, 인간 선호 보상에 대한 학습 없이도 이를 개선했습니다. 또한 후속 선호 기반 사후 학습(post-training) 하에서 선호 보상과 이미지 충실도 사이의 더 나은 파레토 프론티어를 생성하여, 과도한 채도 및 밝기와 같은 저수준 인공물(artifacts)을 줄이면서 정렬을 증가시킵니다.
연속적 비가우시안 동역학에 적용하기 어려웠던 통합 정보 분해(ΦID)를 위해, DIPHINE은 점수 기반 확산 모델로 필요한 상호정보 항을 단일 아모티제이션 네트워크에서 공동 추정하고 뫼비우스 반전으로 16개 원자를 복원하는 최초의 신경망 추정기를 제안한다. 합성 벤치마크에서 정답 원자를 정확히 복원하고 기존 상호정보 추정기보다 우수하며, 분포 가정 없이 실제 심폐 데이터에서 생리학적으로 해석 가능한 정보 역학 구조를 추출할 수 있음을 보였다.
확산 모델(diffusion models)과 슈뢰딩거 브리지(Schrödinger bridge)를 포함한 확률적 미분 방정식(SDE) 기반 생성 모델은 음성 향상, 이미지 복원, 시계열 생성과 같은 신호 처리 작업에서 폭넓게 적용되어 왔습니다. 이 논문은 확률적 열역학 맥락에서 이러한 모델들을 위한 모델링 프레임워크를 제시합니다. 이 논문의 주요 결과는 일, 열, 엔트로피 생성에 대한 궤적 수준의 정의와 더불어 일반화된 야르진스키 등식(Jarzynski identity) 및 제2법칙 유사 부등식입니다. 제안된 프레임워크는 시간 의존적인 열원 온도와 비보존 구동력을 수용하도록 기존의 야르진스키 설정을 확장합니다. 이러한 열역학적 관점은 비평형 통계 역학 관점에서 확산 모델과 슈뢰딩거 브리지에 대한 이해를 심화시킬 수 있습니다.
픽셀 공간 확산 모델(Diffusion Model)은 전체 대역폭의 잡음 이미지로 학습되지만, 디노이저(denoiser)가 사용할 수 있는 유용한 신호는 주파수에 강하게 의존합니다. Rectified Flow 확산과 자연 이미지 멱법칙 스펙트럼(power-law spectra) 하에서, 대역별 데이터 대 잡음 윤곽 $k^{*}(t) = (1-t)^{-2/α}$은 각 시간 $t$에서 신호를 포함하는 저주파 영역과 잡음이 지배적인 고주파 영역을 분리합니다. 우리는 이 암시적인 Coarse-to-fine 구조가 단순히 설명적인 것이 아님을 보이며, 이는 용량 할당 문제를 유발합니다. 표준 픽셀 공간 디노이저는 내부적으로 이동하는 대역폭 경계를 발견해야 하며, 최적의 예측이 데이터 분포 모델링보다는 결정론적 베이스라인(baseline)으로 붕괴되는 주파수-시간 영역에 연산을 소비할 수 있습니다. 이 경계를 명시적으로 만들기 위해, 우리는 스펙트럴 포싱(Spectral Forcing)을 도입합니다. 이는 패치 임베더(patch embedder) 이전에 잡음 입력에 적용되는 매개변수가 없는(parameter-free), 시간 조건부(time-conditional) 2D-DCT 저역 통과 연산자입니다. 그 차단 주파수(cutoff)는 확산 시간에 따라 단조롭게 확장되며 데이터 종점에서 항등 연산자가 됩니다. 제어된 합성 실험을 통해, 우리는 이 연산자가 유익한 레짐(regime)을 식별했습니다: coarse 패치 토큰화(tokenization)와 고주파 내용이 필수 신호보다는 주로 잡음인 데이터입니다. JiT-700M/32를 사용한 ImageNet-256에서, 스펙트럴 포싱은 다양한 학습 에포크(epoch)에 걸쳐 FID와 Inception Score를 일관되게 향상시키며, 학습 전반에 걸쳐 견고한 이득을 보여줍니다. 더 미세한 토큰화에서도 스펙트럴 포싱은 여전히 경쟁력이 있습니다. 우리는 또한 변경되지 않은 연산자를 통합 텍스트-투-이미지 모델인 SenseNova-U1에 삽입했으며, 여기서 DPG-Bench와 GenEval을 향상시켜, 입력 단 스펙트럴 사전(prior)이 클래스 조건부 생성(class-conditional generation)을 넘어 전이됨을 보여줍니다. 이러한 결과는 신호를 드러내고 잡음을 숨김으로써 용량 효율적인 픽셀 공간 확산으로 가는 경로를 제안합니다.