PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06179v3stat.ML

확산 모델은 그래디언트만 관측한다: 스코어 매칭 오류에 대한 기하학적 관점

Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

스코어 기반 확산 모델은 일반적으로 $L^2$ 스코어 매칭 오차를 최소화하여 학습되며, 표준적인 이론적 분석은 이 양에 의존하여 학습된 분포와 목표 분포 사이의 샘플링 불일치를 유계화한다. 최근 연구는 스코어가 기울기 성분과 솔레노이드 성분으로 직교 분해되며, 정확한 샘플링에서는 기울기 부분만 중요함을 보였다. 우리는 이 분해를 학습된 모델의 스코어 오차에 적용하고 그 정량적 귀결을 연구한다. 오차의 기울기 성분만이 주변 Fokker-Planck 동역학에 들어가므로, 모델은 목표를 완벽히 맞추면서도 임의로 큰 $L^2$ 스코어 오차를 가질 수 있다. 이 관찰에서 출발하여 세 가지 결과를 제시한다. 첫째, 오차의 관측 가능한 기울기 성분에만 의존하는 Kullback-Leibler 발산의 상계를 유도한다. 이는 일반적인 스코어 네트워크에 대한 표준 Girsanov 상계를 더 타이트하게 하며, 그 상계의 느슨함이 주변 공간이 아닌 경로 공간 동역학을 다루는 데 따른 대가임을 밝힌다. 둘째, $L^2$ 스코어 오차의 어떠한 비자명한 함수도 학습된 분포와 목표 분포 사이의 어떠한 발산에 대해서도 균일하게 하한이 될 수 없음을 증명한다. 셋째, 이중 Sobolev 항등식을 통해 노이즈 제거 스코어 매칭 잔차로부터 계산할 수 있는 기울기 성분의 추정량을 제시하며, 이는 경험적으로 전체 $L^2$ 오차보다 샘플 품질과 훨씬 더 잘 상관된다.