PyTorchKR Papers

최신 논문

총 226편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.23937v5cs.LG

확산 모델에서 정보의 분리 가능성

On the Separability of Information in Diffusion Models

확산 모델은 학습 단계에서 신경망에 포착된 정보를 주입하여 노이즈를 데이터로 변환한다. 본 논문에서는 이 정보가 무엇인지 묻는다. 픽셀 공간 확산 모델에서, (1) 신경망의 총 정보 중 상당 부분이 이미지의 소규모 지각적 세부 사항을 재구성하는 데 할당되어 있으며, (2) 이미지와 클래스 레이블 간의 상관관계는 이미지의 의미적 내용에 의해 형성되고 저수준 세부 사항에는 대체로 무관하다는 것을 밝힌다. 이러한 특성은 데이터 자체의 매니폴드 구조와 본질적으로 연결되어 있다고 주장한다. 마지막으로, 이러한 사실들이 classifier-free guidance의 효과를 설명함을 보인다: 가이던스 벡터는 생성 과정 초기에 이미지와 조건화 신호 간의 상호 정보를 증폭하여 의미적 구조에 영향을 미치지만, 지각적 세부 사항이 채워짐에 따라 점차 약해진다.

arXiv:2607.20048v1cs.CV

확산 모델을 위한 중요도 인식 OBS 가지치기

Importance-Aware OBS Pruning for Diffusion Models

확산 모델을 위한 중요도 인식 가지치기를 제안한다. 이는 의미적으로 두드러진 이미지 영역에 중요한 매개변수의 보존을 우선시하는 학습 없는 프레임워크이다. 이를 위해 조건 신호 또는 모델 어텐션에서 파생된 공간적 중요도 맵을 가지치기 목적 함수에 통합한다. 이를 통해 균일한 재구성 오차가 아닌 지각적 관련성에 정렬된 매개변수 순위를 산출한다. MS-COCO 데이터셋에서 제안 방법은 기존 가지치기가 눈에 띄는 품질 저하를 유발하는 높은 압축률에서도 피사체 충실도와 구조적 정확성을 일관되게 유지한다. 이러한 결과는 콘텐츠 인식 목적 함수가 생성 모델의 지각적으로 충실한 압축에 핵심적임을 보여준다.

arXiv:2607.14398v1cs.LG

적분이 중요하다: 제약 확산 모델을 위한 롤아웃 기반 학습

Integration Matters: Rollout-Based Training for Constrained Diffusion Models

제약 생성 모델은 복잡한 실행 가능성 제약을 만족하는 샘플을 생성하면서 데이터 분포에 충실하도록 하는 것을 목표로 한다. 기존 제약 생성 방법은 일반적으로 학습 시점 최적화 또는 샘플링 시점 보정을 통해 제약을 강제한다. 학습 시점 최적화 접근법은 학습 분포에 의해 유도된 상태에서 최적화하는데, 이는 샘플링 중에 마주치는 상태와 상당히 다를 수 있다. 샘플링 시점 보정 방법은 대신 추론 시 샘플링 과정을 수정하여 분포 이동(distribution shift)을 유발하고, 특히 소수 스텝(few-step) 샘플링의 경우 값비싼 튜닝을 필요로 한다. 우리는 온라인 롤아웃을 통해 얻은 제약 안내(constraint guidance)를 학습 과정에 통합하는 미세조정 프레임워크를 제안한다. 이는 노이즈 제거 과정을 수치적으로 적분하는 데 사용되는 고정 노이즈 스케줄을 통해 미분함으로써 학습과 샘플링을 정렬한다. 이를 통해 모델은 노이즈 제거 궤적(denoising trajectory)을 따라 발생하는 위반에 노출되며, 확산 학습을 샘플링 과정과 정렬시킨다. 여러 작업에 걸친 실험에서 우리 방법은 기존 방법 대비 경쟁력 있는 샘플링 품질을 유지하면서 제약 만족도를 개선함을 보여준다.

arXiv:2506.11378v3cs.LG

스코어 기반 확산 샘플링에서 확률성의 효과: KL 발산 분석

The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis

스코어 기반 확산 모델에서의 샘플링은, 임의의 확률성 함수로 매개변수화된 역시간 확률적 미분방정식(SDE)을 풀거나, 이 확률성 함수를 0으로 설정하는 것에 해당하는 확률 흐름 ODE(probability flow ODE)를 풀어 수행할 수 있다. 본 연구에서는 Kullback-Leibler(KL) 발산의 시간적 진화를 통해 이러한 확률성이 생성 과정에 미치는 효과를 조사하고, 일반적인 KL 발산 상한을 도출하며, 스코어 오류의 시간 프로파일(time-profile)이 모델 성능에 미치는 영향에 대한 새로운 분석을 제시한다. 정확한 스코어 함수의 경우, 확률성은 수축(contractive) 효과를 가져 샘플링 궤적을 따라 KL 발산이 감소한다. 그러나 근사 스코어의 경우, 누적 오류를 보정하는 것과 현재 스코어 오류를 증폭시키는 것 사이에 트레이드오프가 발생하여, 확률성이 생성 성능을 향상시킬 수도 있고 저하시킬 수도 있다. 이론적 고찰에 따르면, 확률성으로 얻는 이득은 학습된 모델 오류의 시간적 국소화(time-localization)에 따라 달라진다. 이를 toy 데이터셋과 벤치마크 데이터셋 모두에 대한 실험으로 검증하며, KL 발산의 진화를 도출된 상한과 비교한다. 또한 관련된 모든 양을 계산할 수 있고, 최적 확률성 함수가 최적 제어(optimal control) 분석을 통해 특성화될 수 있는 완전 해석적 예시도 제시한다.

arXiv:2607.14765v1cs.CV

확산 모델에서 반사실적 추론을 통한 희귀 개념 생성

Rare Concept Generation via Counterfactual Inference in Diffusion Models

희귀 개념 생성은 이례적인 속성을 가진 객체를 설명하는 텍스트 프롬프트를 조건으로 맞춤형 이미지를 합성하는 작업에 초점을 둔다. 기존 연구들은 생성된 이미지를 희귀 개념과 정렬하는 데 실패하여, 속성 렌더링 오류나 개념 구성의 불일치를 초래했다. 우리가 관찰한 바, 이러한 실패는 확산 모델의 학습 단계에 내재된 상식 바이어스에서 비롯되며, 여기서 객체는 일반적인 속성과 강하게 연관되어 희귀 개념을 생성할 때 이러한 연관을 깨기 어렵다. 이러한 과제를 해결하기 위해 본 논문은 CI-Diff라고 명명한 새로운 반사실적 추론 기반 확산 접근법을 제안한다. CI-Diff는 모델의 내재된 상식 바이어스 간섭을 차단하고 자연 직접 효과(Natural Direct Effect)를 활용해 희귀 개념의 텍스트 프롬프트가 이미지 생성에 미치는 독립적 영향을 포착하여, 이례적인 속성을 희귀 개념으로부터 분리한다. 이를 위해 분류기 없는 가이던스(classifier-free guidance) 메커니즘을 재공식화하여 비전형적 속성을 강조한다. 우리가 아는 한, 희귀 개념 생성 과제에 인과 추론(causal inference)을 도입한 최초의 연구다. RareBench 벤치마크에서의 광범위한 실험을 통해 CI-Diff가 최신 확산 모델 대비 우수함을 검증했다. 코드는 https://github.com/200204jzy/CI-Diff에서 확인할 수 있다.

arXiv:2505.10999v4cs.CV

표현 피드백을 통한 확산 모델의 조건화 잔차

Conditioning Residuals for Diffusion Models via Representation Feedback

확산 모델은 이제 멀티미디어 생성의 공통 기반으로 자리 잡았으며, 생성 학습 과정에서 유용한 중간 표현이 나타난다. 그러나 표준 아키텍처는 이러한 표현을 주 특징 스트림을 통해 전파할 뿐, 인코딩된 의미를 이후 디노이징 레이어에 명시적으로 다시 도입하지 않는다. 한편, 이러한 백본은 이미 사전 정의된 입력에 의한 전역 변조를 위한 조건화 경로를 제공한다. 본 연구는 이러한 기존 경로가 내부적으로 추론된 의미를 진화하는, 샘플 의존적 단서로도 라우팅할 수 있는지 검토한다. 우리는 집계된 특징을 조건 임베딩에 더해지는 잔차로 변환하는 경량 피드백 메커니즘인 Conditioning Residuals를 제안한다. 간결한 특징 요약을 피드백함으로써, 외부 인코더, 보조 목적 함수, 또는 샘플링 시점 변경 없이 적응적 생성 가이던스를 제공하고 더 엄격한 의미적 병목을 유도한다. UNet 및 DiT 백본의 하나 또는 여러 깊이에서 피드백을 지원하며, 오버헤드는 무시할 수 있는 수준이다. 다양한 확산 공식화, 백본 구성, 데이터셋에 걸쳐 실험은 생성 성능의 일관된 향상과 함께 하류 선형 프로빙(linear probing) 및 분할(segmentation)에서 더 강한 표현을 보여준다. 기제 분석은 향상된 생성 학습 동역학과 재구성된 특징 구조를 밝히며, 확산 백본을 내부적으로 향상시키는 타당하고 일반화 가능한 방법을 시사한다.

arXiv:2607.13371v1cs.CV

RoughNet: 확산 기반 위성 영상 초해상화를 통한 북극 해빙 거칠기 매핑

RoughNet: Mapping Arctic Sea Ice Roughness Using Diffusion-Based Super-Resolution of Satellite Imagery

고정해빙(landfast sea ice) 거칠기의 정확한 추정은 기후 모델링과 안전한 북극 빙상 통행에 필수적이지만, 기존 접근법은 비용이 큰 항공 측량이나 sparse한 현장 측정에 의존하여 공간적 커버리지와 운영 확장성을 제한한다. 여기서는 조건부 확산 프레임워크를 사용하여 광학 위성 영상으로부터 고해상도 해빙 지형을 직접 복원할 수 있음을 보인다. 우리의 접근법인 RoughNet은 10m 해상도 Sentinel-2 다중분광 영상을 국소 정규화된 1m 표면 고도 잔차 장으로 매핑하는 방법을 학습하여, 널리 이용 가능한 위성 데이터로부터 미세 규모 거칠기 특성화를 가능하게 한다. 두 개의 북극 지역에서 수집한 항공 LiDAR 데이터로 학습하고, 이전에 보지 못한 세 번째 북극 지역에서 평가한 결과, 모델은 다양한 빙상 조건에 일반화되며 소규모 지형 구조를 부분적으로 재현한다. 최고 성능 모델은 영역 외(out-of-domain) 평균 제곱근 오차(RMSE) 9cm를 달성하면서, 기저 거칠기 장의 통계적 및 스펙트럴 특성을 보존한다. 이 결과는 생성형 확산 모델이 광학 영상만으로 물리적으로 의미 있는 표면 구조를 복원할 수 있음을 보여주며, 데이터가 sparse한 환경에서 고해상도 해빙 매핑과 거칠기 추정을 위한 확장 가능한 경로를 제공한다.

arXiv:2607.13300v1cs.CV

Fréchet Distance 손실을 이용한 의료 영상 생성 모델 개선

Improving Medical Image Generative Models with Fréchet Distance Loss

확산 생성 모델은 합성 의료 영상 생성에서 막대한 잠재력을 보여주었다. 그러나 이러한 모델은 불규칙한 경계를 가진 이질적 종양의 복잡한 형태학적 특성을 포착하는 데 어려움을 겪는 경우가 많아, 분할과 같은 다운스트림 임상 과제에서의 활용을 제한한다. 이 한계는 표준 디노이징(denoising) 목표, 즉 픽셀 단위 오차를 최소화하는 방식에서 기인하며, 이는 종양의 특징인 분산이 큰 불규칙 구조를 평탄화한다. 이를 해결하기 위해, 우리는 Fréchet Distance 손실(FD-loss)로 이러한 생성 모델을 파인튜닝하는 방법을 제안한다. FD-loss는 사전학습된 인코더 공간에서 실제 영상과 생성 영상의 1차 및 2차 특징 통계를 정렬하여, 생성기가 이질적 종양의 특징인 복잡한 구조적 변이를 포착하도록 유도한다. 우리는 CT와 MRI 모달리티에 걸친 여러 간암 및 뇌암 데이터셋에서 자연 영상 및 의료 영상 인코더를 모두 사용하여 다양한 아키텍처 설정 전반에 FD-loss를 통합한다. FD로 정규화된 합성 데이터로 학습된 다운스트림 분할 네트워크는 일관되게 우수한 성능을 달성하며, 비정규화 합성 증강만 사용한 경우 대비 종양 DSC를 >5% 개선한다. 정성 분석은 이러한 성능 향상이 더 충실한 종양 합성과 더 적은 분할 환각과 관련이 있음을 시사한다. 우리의 결과는 FD-loss가 임상 워크플로를 개선하기 위한 의료 영상 생성 모델의 효과적인 정규화 항임을 보여준다.

arXiv:2607.12104v1cs.SE

TraceSynth: 제약 조건 기반 확산 모델을 이용한 프로덕션 품질 커널 트레이스 생성

TraceSynth: Generating Production-Quality Kernel Traces with Constraint-Guided Diffusion Models

시스템 진단을 위한 머신러닝 모델은 세밀한 시스템 동작을 포착하기 위해 커널 실행 트레이스에 의존하지만, 산업 시스템에서 프로덕션 트레이스를 수집하는 것은 런타임 오버헤드, 저장 요구사항, 프라이버시 제약으로 인해 비용이 많이 든다. 우리는 제한된 실데이터를 하위 ML 작업을 위해 보강하는 합성 커널 트레이스를 생성하기 위한 확산 기반 프레임워크인 TraceSynth를 제시한다. TraceSynth는 커널 트레이스를 다중 채널 시퀀스(이벤트 유형, 타임스탬프, CPU 어피니티, 스레드 식별자, 프로세스 메타데이터)로 모델링하며, 시스템 불변식을 강제하기 위해 제약 조건 기반 복구를 적용한 트랜스포머 기반 디노이징 확산 과정을 사용한다. 6개 벤치마크에서 결과는 강한 워크로드 의존성을 보여준다. 결정론적이고 연산 집약적인 워크로드(scimark2)의 경우, 합성 데이터 보강은 컨텍스트 길이 L=4096에서 87.2% F1-Macro를 달성하며, 이는 실데이터만 사용한 베이스라인보다 2.6%p 낮은 수준이다. 컨텍스트 길이가 지배적인 품질 요인이며, L=4096은 L=256 대비 +104% 상대적 개선을 달성하고, 제약 조건 기반 복구는 최대 4.3%까지 합성 데이터 품질을 향상시킨다. 어블레이션 연구는 경량 2채널 모델이 계산 비용의 약 절반에서 전체 6채널 모델 성능의 97-99%를 유지함을 보여준다. TraceSynth는 프로덕션 관측 가능성 파이프라인에서 커널 실행 트레이스의 비용 효율적 보강을 지원하며, 합성 데이터가 제한된 실제 트레이스를 대체할 수 있는 시점을 식별하는 데 도움을 준다.

arXiv:2607.11974v1cs.LG

이산화 학습: 스펙트럴 가이던스를 갖춘 확산 기반 적응형 메시

Learning to Discretize: Diffusion-Based Adaptive Mesh with Spectral Guidance

대부분의 신경망 편미분방정식(PDE) 대리 모델은 격자가 이미 선택된 이후 필드가 어떻게 진화하는지를 학습한다. 그러나 어떤 연산자도 적용되기 전에, 격자는 공간, 해상도, 스펙트럴 대역폭에 걸쳐 모델링 용량이 어떻게 배분되는지를 이미 결정해 둔다. 우리는 이 숨겨진 설계 선택 자체가 학습 가능해야 한다고 주장하며, 이는 표준 연산자 학습과는 다른 질문으로 이어진다: 대리 모델이 필드 진화를 예측하기 전에 해상도가 어디에 존재해야 하는지를 학습할 수 있는가? 우리는 적응형 이산화를 유효한 메시 변위에 대한 물리 제약 조건부 생성 문제로 공식화한다. PDE 필드 예측에서 확산 모델의 성공은 유사한 구조적 제약 하에서 적응형 이산화를 학습할 잠재력을 시사한다. 이는 2단계 확산 프레임워크로 이어진다: 1단계는 관측된 역학에 조건부로 r-적응형 변위 메시를 학습하고, 2단계는 메시 정보 기반 표현으로부터 해의 진화를 예측한다. 메시 생성기는 물리 인식 대리 채널, 기하학적 유효성 제약, 국소 스펙트럴 집중에 의해 정규화되어 적응이 물리적으로 해석 가능하고 수치적으로 유효하게 유지된다. 5가지 PDE 영역에 걸쳐, 결과는 확산 기반 학습 이산화가 적응형 메시 및 차수 축소 기준선과 경쟁력이 있음을 보여주며, 고정 또는 수작업 할당이 불충분한 영역에서 특히 큰 이득을 보인다. 주요 결론은 보편적 최적 메시 규칙이 존재한다는 것이 아니라, 이산화가 영역 의존적 방식으로 학습되어야 한다는 것이다: 서로 다른 공간 및 스펙트럴 구조는 서로 다른 할당 행동을 선호한다. 이는 신경망 PDE 솔버를 위한 적응형 메시화를 솔버별 휴리스틱에서 생성적 표현 학습 문제로 재구성한다.

arXiv:2607.12464v1cs.CV

클래스 대비 영향(Class-Contrastive Influence)을 이용한 확산 모델 조향을 통한 퓨샷 의료 분류

Steering Diffusion Models via Class-Contrastive Influence for Few-Shot Medical Classification

라벨이 붙은 데이터가 부족할 때, 기성 확산 모델은 퓨샷 의료 이미지 분류를 위한 학습 세트를 보강할 수 있지만, 생성된 모든 샘플이 하류 작업에 동등하게 유용한 것은 아니다. 기존 접근법은 대체로 사실성, 다양성 또는 도메인 적응을 높여 합성 데이터를 개선하는 데 집중하면서, 더 근본적인 질문을 간과한다: 분류를 위한 샘플 유용성은 어떻게 측정하고 최적화해야 하는가? 우리는 Class-Contrastive Influence(C2I)로 이를 해결한다. 이는 분류기에 대한 그래디언트 기반 영향을 통해 샘플 유용성을 정량화하는 기준이다. 효과적인 샘플은 강한 C2I 차이를 보인다: 해당 샘플의 손실 그래디언트는 동일 클래스의 검증 그래디언트와 정렬되고, 다른 클래스의 검증 그래디언트와는 상반된다. 우리의 분석은 추가로 이러한 고 C2I 샘플이 어렵고 경계 근접한 예시이며, 의사결정 경계를 정밀화하고 견고성을 향상하는 데 도움이 된다고 시사한다. 이 통찰을 바탕으로, C2I 기반 보상을 사용한 강화학습으로 확산 모델을 파인튜닝하여 생성이 클래스 정보를 담은 샘플 쪽으로 조향되도록 한다. 여러 퓨샷 의료 영상 벤치마크에서 C2I 기반 생성은 확산 기반 증강 기준선 대비 하류 정확도와 견고성을 향상시키며, 합성 증강은 이미지 품질만이 아니라 작업 유용성에 따라 안내될 때 가장 효과적임을 보여준다.

arXiv:2510.01841v2cs.CV

인물 검색을 위한 확산 모델 사전 지식 활용

Leveraging Prior Knowledge of Diffusion Model for Person Search

인물 검색은 크롭되지 않은 장면 이미지 갤러리 내에서 쿼리 인물을 위치 특정하고 식별함으로써 인물 검출과 재식별을 공동으로 수행하는 것을 목표로 한다. 기존 방법들은 주로 ImageNet 사전학습 백본을 활용하며, 이는 인물 검색에 필요한 복잡한 공간적 문맥과 세밀한 신원 단서를 포착하기에 최적이 아닐 수 있다. 또한 인물 검출과 재식별 모두에 공유 백본 특징에 의존하여, 상충하는 최적화 목표로 인해 차선의 특징이 생성된다. 본 논문에서는 두 하위 작업 간 최적화 충돌을 제거하면서 사전학습된 확산 모델을 활용하는 새로운 프레임워크인 DiffPS(Diffusion Prior Knowledge for Person Search)를 제안한다. 확산 사전 지식의 핵심 특성을 분석하고 세 가지 특화 모듈을 제안한다: (i) 향상된 인물 위치 특정을 위한 Diffusion-Guided Region Proposal Network(DGRPN), (ii) 형태 바이어스를 완화하기 위한 Multi-Scale Frequency Refinement Network(MSFRN), (iii) 텍스트 정렬 확산 특징을 활용하기 위한 Semantic-Adaptive Feature Aggregation Network(SFAN). DiffPS는 CUHK-SYSU와 PRW에서 새로운 최첨단 성능을 달성한다.

arXiv:2510.22510v3cs.LG

CANDI: 하이브리드 이산-연속 확산 모델

CANDI: Hybrid Discrete-Continuous Diffusion Models

연속 확산(continuous diffusion)은 이미지 생성과 같은 연속 도메인에서 놀라운 성과를 거두었지만, 이산 데이터에 직접 적용하면 순수 이산 방식보다 성능이 낮았다. 이 격차를 이해하기 위해, 우리는 가우시안 노이즈가 이산 데이터를 손상시키는 두 가지 메커니즘—이산 아이덴티티 손상(discrete identity corruption)과 연속 랭크 저하(continuous rank degradation)—을 특성화하는 분석 프레임워크인 토큰 식별가능성(token identifiability)을 도입한다. 이 두 메커니즘이 어휘 크기에 따라 서로 다른 방식으로 스케일링되어, 연속 기하구조와 이산 구조의 동시 학습 사이에 트레이드오프를 강제하는 시간적 불일치(temporal dissonance)가 발생함을 밝힌다. 이를 해결하기 위해, 이산 손상과 연속 손상을 분리하여 두 가지를 동시에 학습할 수 있게 하는 하이브리드 프레임워크인 CANDI(Continuous ANd DIscrete diffusion)를 제안한다. 이를 통해 이산 공간에서도 연속 확산의 이점을 활용할 수 있다: 제어 생성(controlled generation)에서 CANDI는 단순한 그래디언트 덧셈을 통해 기성(off-the-shelf) 분류기로 분류기 기반 가이던스를 가능하게 하며, 텍스트 생성에서는 낮은 NFE 환경에서 마스크 확산(masked diffusion)을 능가함으로써 이산 공간을 위한 연속 그래디언트 학습의 가치를 입증한다. 코드는 프로젝트 페이지에서 확인할 수 있다: https://patrickpynadath1.github.io/candi-lander.

arXiv:2508.03636v3stat.ML

확산 모델을 위한 가능도 매칭

Likelihood Matching for Diffusion Models

본 논문에서는 확산 모델 학습을 위한 가능도 매칭(Likelihood Matching) 접근법을 제안한다. 이를 위해 먼저 목표 데이터 분포의 가능도와 역방향 확산의 샘플 경로를 따르는 가능도 간의 동치 관계를 확립한다. 역방향 샘플 가능도를 효율적으로 계산하기 위해, 각 역방향 전이 밀도를 조건부 평균과 공분산이 매칭된 가우시안 분포로 근사하는 준가능도(quasi-likelihood)를 고려한다. 확산 생성에 필요한 스코어 함수와 헤시안 함수는 준가능도를 최대화함으로써 추정되며, 이를 통해 매 두 시간 지점 사이의 처음 두 전이 모멘트가 일관되게 매칭됨을 보장한다. 추정된 스코어 및 헤시안 정보를 모두 활용하여 계산을 용이하게 하는 확률적 샘플러를 도입한다. 준최대가능도 추정의 일치성을 확립하고, 제안된 샘플러에 대한 비점근적 수렴 보장을 제공하며, 스코어 및 헤시안 추정, 차원, 확산 단계 수에 기인하는 근사 오차의 수렴 속도를 정량화한다. 실증 및 시뮬레이션 평가를 통해 제안된 가능도 매칭의 효과성을 입증하고 이론적 결과를 검증한다.

arXiv:2501.12982v3stat.ML

확산 모델의 저차원 적응: 전체 변동에서의 수렴

Low-dimensional adaptation of diffusion models: Convergence in total variation

이 논문은 확산 생성 모델이 (미지의) 저차원 구조를 활용하여 샘플링을 가속화하는 방법을 탐구한다. 두 가지 주류 샘플러인 노이즈 제거 확산 암묵적 모델(DDIM)과 노이즈 제거 확산 확률적 모델(DDPM)에 초점을 맞추어, 정확한 스코어 함수 하에서 이들의 반복 복잡도가 최대 $k/\varepsilon$ 차수(로그 인수 제외)임을 증명한다. 여기서 $\varepsilon$는 전체 변동 거리에서의 정밀도이고, $k$는 목표 분포의 내재적 차원이다. 나아가 이러한 수렴 보장을 스코어 함수가 정확히 알려진 것이 아니라 데이터로부터 학습되는 설정으로 확장하여, 적절한 스코어 추정 가정 하에서 수렴 성능이 점진적으로 저하됨을 보인다. 그런 다음 이러한 가정이 저차원 구조에도 적응하는 유한 샘플 보장을 갖춘 커널 기반 스코어 추정기를 통해 달성 가능함을 보인다. 우리의 결과는 매끄러움이나 로그-오목성을 요구하지 않는 광범위한 목표 분포 집합에 적용된다. 본 연구의 결과는 DDIM 유형 샘플러가 미지의 저차원 구조에 적응함을 최초로 엄밀하게 입증하며, 전체 변동 수렴에 관한 최신 DDPM 이론을 개선한다.

arXiv:2607.10853v1cs.CV

온도 샘플링과 분산 보정 시간 이동을 통한 디퓨전 다양화

Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting

디퓨전 모델은 학습 분포를 충실히 재현하지만, 그 불균형도 함께 물려받아 희귀하거나 과소 표현된 모드에 도달하기 어렵게 만든다. 추론 시점에서의 자연스러운 해결책은 고온 타깃 $p^{(γ)}_0(x) \propto p_0(x)^γ$ ($0 < γ < 1$)에서 샘플링하는 것으로, 이는 지배적인 모드를 평탄화하고 희귀한 모드를 끌어올린다. 그러나 단순한 스코어 스케일링은 모드 재가중은 올바르게 수행하면서도 모드별 분산을 부풀려 역방향 디퓨전 프로세스를 손상시키고 샘플 품질을 저하시킨다. 우리는 분산 보정 시간 이동(variance-corrective time shifting)을 소개한다. 이는 이동된 타임스텝에서 네트워크를 쿼리하고 결과 스코어에 $γ$를 곱하여 분산 팽창을 상쇄하면서 모드 재가중을 보존하는, 재학습이 필요 없는 방법이다. 이 보정은 단순한 온도 샘플링을 사전학습된 디퓨전 및 플로우 매칭 백본을 위한 실용적인 다양성 조절 장치로 변환하며, 재학습 없이도 DiT, Stable Diffusion, Motion Diffusion 모델 전반에 걸쳐 샘플 품질 및 조건 충실도에 최소한의 비용으로 일관된 성능 향상을 보임을 실증한다. 나아가 온도 개입의 타이밍이 거친 수준에서 세밀한 수준으로의 제어를 가능하게 함을 보인다: 고잡음 단계는 모드 간 구성적 다양성을 이끌고, 저잡음 단계는 고정된 구성 하에서 국소적 외관 변화를 이끈다.

arXiv:2607.10810v1cs.LG

Diachronic Sample Integration: Robust Tail-Risk Estimation with Generative Models

Deep generative models are increasingly used as simulators for downstream decision-making under data scarcity, but in risk-sensitive applications their usefulness depends on rare adverse scenarios rather than typical samples. Standard generative objectives prioritize bulk distributional fidelity, leaving low-probability tails vulnerable to localized optimization noise and making tail-dependent functionals unstable under finite simulation budgets. We introduce Diachronic Sample Integration (DSI), a test-time inference framework that ensembles generated samples across checkpoints from a stochastic training trajectory. DSI targets a checkpoint-mixture distribution that averages checkpoint-specific tail fluctuations rather than relying on a single brittle endpoint. We formalize this mechanism through a finite-budget bias-variance theory. Empirically, across multivariate synthetic processes and high-frequency trading data, DSI substantially reduces tail-estimation error compared to single-checkpoint baselines under fixed simulation budgets, outperforming standard diffusion and state-of-the-art tail-aware baselines without modifying the generative objective.

arXiv:2607.10067v1cs.LG

확산 모델을 위한 보존 법칙

Conservation Laws for Diffusion Models

자기회귀 모델은 연쇄 법칙을 통해 정확한 데이터 가능도를 최적화하는 반면, 확산 모델은 일반적으로 노이즈 제거 목적 함수로 학습된다. 본 연구에서는 광범위한 무기억 노이즈 프로세스에 대해 일반화된 외재적 정보 전달(GEXIT) 함수를 기반으로 한 보존 법칙을 개발하고, 데이터-모델 교차 엔트로피(CE)가 노이즈 경로를 따른 국소 정보 이론적 도함수의 적분으로 정확하게 특성화될 수 있음을 보인다. 이로써 이산 및 연속 확산에 대한 가능도의 통합적 특성화를 제공하며, 가우시안 경우는 잘 알려진 상호 정보-최소 평균 제곱 오차(I-MMSE) 관계로 귀결된다. 즉각적인 함의로는 국소성(locality) 특성이 있으며, 이를 통해 노이즈 경로를 따른 주변 사후 분포만을 사용하여 정보 이론적 도함수를 계산할 수 있다. 결과적으로, 학습은 음의 로그 가능도를 최소화함으로써 주변 사후 분포를 학습하는 것으로 귀결된다. 보존 법칙은 엔트로피가 노이즈 경로에 의존하지 않음을 시사하지만, 유한 용량 노이즈 제거기는 노이즈 유형에 따라 다양한 정확도로 사후 분포를 근사하여 성능 차이를 초래한다. 본 연구는 합성 마르코프 소스와 text8 및 CIFAR-10을 포함한 표준 벤치마크에서 이러한 예측을 검증한다.

arXiv:2607.09108v1cs.LG

확산 모델의 양자 회로: 공정 비교 연구 및 앵글 임베딩 실패의 메커니즘 분석

Quantum Circuits in Diffusion Models: A Fair-Comparison Study and a Mechanistic Analysis of Angle-Embedding Failures

우리는 양자 기여를 고립시키는 스퀴즈-앤-익사이테이션(SE) 채널 변조 스캐폴드를 통해 변분 양자 회로(VQC)를 확산 모델에 통합하는 방법을 연구한다. MNIST와 CIFAR-10에서 DDPM과 잠재 확산에 걸쳐 역할 매칭된 고전적 대조군과 다중 시드 유의성 검정을 사용하고, MNIST에서 스코어 기반 NCSN 연구를 수행한 결과, 양자 코어는 DDPM과 잠재 확산 전반에 걸쳐 고전적 대조군과 비교 가능한 평균 FID를 달성하며, EfficientSU2에 대한 쌍별 샘플링-시드 검정에서는 통계적으로 유의미한 차이가 감지되지 않았다. 양자 코어는 역할 매칭된 대조군보다 핵심 매개변수를 4.5~9배 적게 사용하지만, 매개변수 매칭된 고전적 대조군이 비교 가능한 평균 FID를 달성하므로, 실험들은 양자 매개변수 효율성 우위를 입증하지 못한다. 우리는 스코어 기반 NCSN에서 구조적 결함을 추가로 확인한다: 1/σ에 비례하는 비경계 스코어 목표값이 앵글 임베딩 입력을 회전 게이트의 2π 주기를 훨씬 초과하도록 만들어, 위상 앨리어싱(phase aliasing)과 양자 변조기의 붕괴를 초래한다. 바운딩 변환 θ←π tanh(·)은 입력을 비앨리어싱 영역으로 매핑하여 두 양자 코어 모두를 실질적으로 개선한다. 모든 회로가 소규모 큐비트 스케일에서 고전적으로 시뮬레이션되었기 때문에, 우리는 양자 우위를 주장하지 않는다. 대신, 이 연구는 양자 강화 생성 모델을 위한 공정 비교 프로토콜과 앵글 임베딩이 언제 그리고 왜 실패하는지에 대한 메커니즘적 설명을 제공한다.

arXiv:2607.08794v1cs.GR

저자원 토제 제방 점검을 위한 샌드 보일의 다중 조건부 확산 합성

Multi-Conditioned Diffusion Synthesis of Sand Boils for Low-Resource Earthen-Levee Inspection

토제 제방의 샌드 보일(sand boil)은 안전에 중요한 결함이지만, 픽셀 수준의 탐지는 부족한 어노테이션으로 인해 제한된다. 본 논문은 저자원 샌드 보일 이미지를 위한 확산 기반 합성 파이프라인을 제시한다. DreamBooth로 파인튜닝되고 다중 브랜치 ControlNet 스택으로 조건화된 Stable Diffusion XL을 사용하여, 파이프라인은 소규모 큐레이션 참조 세트로부터 합성 점검 이미지를 생성한다. 소프트 마스크 인페인팅(soft-mask inpainting) 프로토콜은 실제 결함 픽셀을 보존하면서 주변 장면을 재렌더링함으로써, 기존 심리스 클로닝 합성에서 발생하는 이음새와 색상 변이를 방지한다. 마스크 조건부 ControlNet은 지정된 마스크 내에 새로운 보일을 생성할 수 있어, 구조적으로 마스크 자체가 세그멘테이션 레이블이 된다. 그러나 가용한 실제 학습 게이트로는 대규모 레이블 인증이 해결되지 않은 상태이므로, 소프트 마스크 프리셋을 기본값으로 공개한다. 텍스트 조건화는 분류체계 기반 프롬프트 아틀라스(Prompt Atlas)를 통해 제공되며, 이는 하나의 도메인 명세를 계층화된 CLIP 검증 프롬프트 뱅크로 확장하고 코드 변경 없이 새로운 결함 클래스로 전이된다. 실제 학습 이미지로부터 파이프라인은 1,020개의 합성 후보를 생성하며, 그 중 815개가 CLIP 허용 가능성 필터를 통과한다. 이미지 품질은 실제 참조 세트 및 Poisson 기준선 대비 분포적·충실도-다양성 지표로 평가하고, 분포 외(out-of-distribution) 드리프트 및 암기(memorization) 여부도 감사한다. 단일 프리셋이 모든 면에서 우수하지 않으며, 각각 충실도, 다양성, 레이블 신뢰성 간의 절충이 존재한다. 따라서 레이블 신뢰 프리셋을 기본값으로 공개하고, 큐레이션된 혼합을 자연스러운 증강 세트로 간주한다. 본 연구의 주장은 이미지 품질, 레이블 출처, 다양성에 국한되며, 다운스트림 세그멘테이션은 향후 연구로 남긴다. 재현성을 위해 코드와 아티팩트 매니페스트를 공개한다.