PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.04417v3cs.LG

국소화된 디퓨전 모델

Localized Diffusion Models

디퓨전 모델(diffusion model)은 다양한 생성 작업에서 최고 수준의 성능을 보이는 도구입니다. 그러나 이러한 모델의 학습은 고차원 스코어 함수(score function)를 추정하는 과정을 수반하며, 이는 원리상 차원의 저주(curse of dimensionality)를 겪게 됩니다. 따라서 타깃 분포 내의 저차원 구조를 이러한 모델에서 어떻게 활용할 수 있는지 이해하는 것이 중요합니다. 본 연구에서는 타깃 확률 변수들 간의 특정 희소 조건부 종속성을 설명하는 국소성 구조(locality structure)를 고려합니다. 국소성 구조가 주어지면 스코어 함수는 실질적으로 저차원이 되므로, 국소화된 신경망(localized neural network)을 통해 표본 복잡도(sample complexity)를 크게 줄이면서 이를 추정할 수 있습니다. 이러한 관찰을 바탕으로 국소화된 가설 공간 내에서 스코어 함수를 학습하기 위해 국소화된 스코어 매칭 손실(localized score matching loss)을 사용하는 국소화된 디퓨전 모델(localized diffusion model)을 제안합니다. 우리는 이러한 국소화를 통해 추가적인 국소화 오차를 대가로 차원에 독립적인 오차 한계를 확보하여 디퓨전 모델이 차원의 저주를 피할 수 있음을 증명합니다. 나아가 현실적인 표본 크기 스케일링 하에서 적절한 국소화 반경(localization radius)이 통계적 오차와 국소화 오차 간의 균형을 이루어 전반적으로 더 우수한 성능을 낸다는 것을 이론적 및 수치적으로 입증합니다. 또한 국소성 구조는 병렬 학습을 용이하게 하여, 대규모 응용 분야에서 국소화된 디퓨전 모델이 잠재적으로 더욱 효율적이도록 만듭니다.