arXiv:2505.17638 cs.LG

Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training

Tony Bonnaire, Raphaël Urfin, Giulio Biroli, Marc Mézard

제출 2025-05-23

한국어 초록

디퓨전 모델은 다양한 생성 작업에서 놀라운 성공을 거두었습니다. 주요 도전 과제는 훈련 데이터를 기억하지 않도록 방지하는 메커니즘을 이해하고 일반화를 가능하게 하는 것입니다. 본 연구에서는 일반화에서 기억으로의 전환에서 훈련 역학의 역할을 조사합니다. 광범위한 실험과 이론적 분석을 통해, 우리는 두 가지 뚜렷한 시간 척도를 식별합니다: 모델이 고품질 샘플을 생성하기 시작하는 초기 시간 $τ_\mathrm{gen}$과 기억이 나타나는 이후의 시간 $τ_\mathrm{mem}$입니다. 중요한 점은 $τ_\mathrm{mem}$이 훈련 세트 크기 $n$에 따라 선형적으로 증가하는 반면, $τ_\mathrm{gen}$은 일정하게 유지된다는 것입니다. 이는 훈련이 그 시점을 넘어 계속될 경우 강한 기억을 보이면서도 모델이 효과적으로 일반화하는 훈련 시간의 증가하는 윈도우를 생성합니다. $n$이 모델 의존 임계값보다 커질 때만 과적합이 무한 훈련 시간에서 사라집니다. 이러한 발견은 훈련 역학에서 암묵적인 동적 정규화를 나타내며, 이는 고도로 과매개변수화된 설정에서도 기억을 피할 수 있게 합니다. 우리의 결과는 현실적이고 합성된 데이터셋에 대한 표준 U-Net 아키텍처를 사용한 수치 실험과 고차원 한계에서 연구된 다루기 쉬운 랜덤 피처 모델을 이용한 이론적 분석에 의해 뒷받침됩니다.

원문 초록

Diffusion models have achieved remarkable success across a wide range of generative tasks. A key challenge is understanding the mechanisms that prevent their memorization of training data and allow generalization. In this work, we investigate the role of the training dynamics in the transition from generalization to memorization. Through extensive experiments and theoretical analysis, we identify two distinct timescales: an early time $\tau_\mathrm{gen}$ at which models begin to generate high-quality samples, and a later time $\tau_\mathrm{mem}$ beyond which memorization emerges. Crucially, we find that $\tau_\mathrm{mem}$ increases linearly with the training set size $n$, while $\tau_\mathrm{gen}$ remains constant. This creates a growing window of training times with $n$ where models generalize effectively, despite showing strong memorization if training continues beyond it. It is only when $n$ becomes larger than a model-dependent threshold that overfitting disappears at infinite training times. These findings reveal a form of implicit dynamical regularization in the training dynamics, which allow to avoid memorization even in highly overparameterized settings. Our results are supported by numerical experiments with standard U-Net architectures on realistic and synthetic datasets, and by a theoretical analysis using a tractable random features model studied in the high-dimensional limit.

요약

디퓨전 모델은 최근 다양한 생성 작업에서 뛰어난 성능을 보여주고 있지만, 훈련 데이터를 메모리화하지 않고 일반화할 수 있는 메커니즘에 대한 이해는 여전히 중요한 연구 과제로 남아 있다. 본 연구에서는 이러한 일반화와 메모리화 간의 전환에서 훈련 동역학의 역할을 깊이 있게 조사하였다. 실험과 이론적 분석을 통해 두 가지 주요 시간 척도인 초기 시간 $τ_\mathrm{gen}$과 메모리화가 발생하는 시간 $τ_\mathrm{mem}$을 식별하였다. 특히, $τ_\mathrm{mem}$은 훈련 세트 크기 $n$에 따라 선형적으로 증가하는 반면, $τ_\mathrm{gen}$은 일정하게 유지되어, 훈련 시간이 증가함에 따라 모델이 효과적으로 일반화할 수 있는 창이 형성됨을 발견하였다. 이 연구의 핵심 기여는 훈련 동역학에서의 암묵적 동적 정규화(implicit dynamical regularization) 개념을 도입하여, 고도로 과매개변수화된 설정에서도 메모리화를 피할 수 있는 방법을 제시한 것이다. 또한, 훈련 세트 크기가 모델 의존적인 임계값을 초과할 때만 과적합이 사라진다는 점을 강조하였다. 이러한 발견은 디퓨전 모델의 훈련 과정에서 메모리화가 발생하는 시점을 이해하는 데 중요한 통찰을 제공하며, 모델의 일반화 능력을 유지하는 데 필수적인 요소로 작용한다. 본 연구는 현실적 및 합성 데이터셋에 대한 표준 U-Net 아키텍처를 활용한 수치 실험과 고차원 한계에서의 처리 가능한 랜덤 피처 모델을 통한 이론적 분석을 통해 뒷받침되었다. 이러한 접근 방식은 디퓨전 모델의 훈련 동역학을 이해하는 데 기여하며, 향후 연구에서 일반화와 메모리화 간의 복잡한 관계를 탐구하는 데 중요한 기반이 될 것으로 기대된다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.07175v3cs.CL공통 태그 Memorization공식 코드 · Papers with Code

언어 모델에서 사실(factoid)의 연속적 암기

Continual Memorization of Factoids in Language Models

새로운 지식이 빠르게 축적되면서, 사전학습된 지식을 갖춘 언어 모델(LM)은 급속히 시대에 뒤처지게 된다. LM을 업데이트하는 일반적인 접근은 새로운 지식에 직접 미세조정하는 것이다. 그러나 최근 연구들은 암기를 위한 미세조정이 지식 저장에 비효율적일 수 있거나 환각(hallucination)을 악화시킬 수 있음을 보여준다. 본 연구에서는 연속적 암기(continual memorization)라고 부르는 설정을 제안한다. 이 설정에서 모델은 후속 데이터셋에 대한 여러 단계의 미세조정을 거치면서 일련의 사실(factoid)을 암기하고 유지해야 한다. 광범위한 실험을 통해 망각 패턴을 분석한 결과, LM이 광범위하게 망각에 시달리며, 특히 두 번째 단계에서 사실을 암기해야 할 때 더욱 그러함을 보인다. 망각은 학습 동역학을 수정함으로써 완화할 수 있다고 가정한다: (1) 사실을 학습할 때 암기 과정을 보호하거나 (2) 후속 학습 단계로 인한 간섭을 줄이는 것. 흥미롭게도, 다양한 학습 단계에서 무작위로 생성된 단어 시퀀스나 사전학습 코퍼스에서 샘플링한 일반 데이터를 혼합하는 것이 망각을 효과적으로 완화함을 발견한다(REMIX: Random and Generic Data Mixing). REMIX는 심각한 망각으로부터 성능을 회복할 수 있으며, 리플레이(replay) 방법 및 기타 연속 학습 베이스라인을 능가한다. REMIX가 학습 과정에 미치는 영향을 분석한 결과, 견고한 암기는 뚜렷한 패턴을 따름을 확인한다: 모델이 사실을 평소보다 더 이른 레이어에 저장하고 이를 보존하는 레이어를 다양화하며, 이로 인해 학습한 사실을 더 쉽게 회상하고 조작할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.