arXiv:2505.16959v3 cs.LG

클수록 항상 암기하는 것은 아니다: 과대매개변수화된 확산 모델의 조기 종료

Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models

Alessandro Favero, Antonio Sclocchi, Matthieu Wyart

제출 2025-05-22

한국어 초록

확산 확률 모델은 현대 생성형 AI의 핵심이 되었지만, 그 일반화의 기저 메커니즘은 여전히 잘 이해되지 않고 있다. 실제로 이러한 모델이 학습 손실을 완벽하게 최소화한다면, 과대매개변수화 영역에서 경험적으로 발견되듯이 학습 집합에 속한 데이터만 생성하게, 즉 암기하게 될 것이다. 우리는 이러한 관점을 재검토하여, 고도로 과대매개변수화된 확산 모델에서 자연 데이터 영역의 일반화가 암기가 시작되기 전에 학습 과정에서 점진적으로 달성됨을 보인다. 이미지 확산 모델부터 언어 확산 모델에 이르는 우리의 결과는 암기 시간이 데이터셋 크기에 비례한다는 경험 법칙을 체계적으로 뒷받침하며, 이는 낮은 잡음에서 경험적 스코어를 적합하는 데 필요한 시간에 대한 커널 회귀 한계와 일치한다. 따라서 일반화 대 암기는 시간 척도 간의 경쟁으로 가장 잘 이해된다. 우리는 이러한 현상이 무작위 규칙을 가진 단순한 확률적 문맥 자유 문법을 학습하는 확산 모델에서도 재현됨을 보이며, 여기서 일반화는 학습 시간이 늘어남에 따라 더 깊은 문법 규칙을 계층적으로 습득하는 것에 해당하고, 조기 종료의 일반화 비용을 특성화할 수 있다. 우리는 이러한 결과를 상 다이어그램으로 요약한다. 전반적으로 우리의 결과는 데이터셋 크기에 비례하여 조정되는 원칙적인 조기 종료 기준이 암기를 피하면서 일반화를 효과적으로 최적화할 수 있음을 뒷받침하며, 이는 하이퍼파라미터 전이와 프라이버시에 민감한 응용에 직접적인 시사점을 갖는다.

원문 초록

Diffusion probabilistic models have become a cornerstone of modern generative AI, yet the mechanisms underlying their generalization remain poorly understood. In fact, if these models were perfectly minimizing their training loss, they would just generate data belonging to their training set, i.e., memorize, as empirically found in the overparameterized regime. We revisit this view by showing that, in highly overparameterized diffusion models, generalization in natural data domains is progressively achieved during training before the onset of memorization. Our results, ranging from image to language diffusion models, systematically support the empirical law that memorization time is proportional to the dataset size, consistent with a kernel-regression bound on the time required to fit the empirical score at low noise. Generalization vs. memorization is then best understood as a competition between time scales. We show that this phenomenology is recovered in diffusion models learning a simple probabilistic context-free grammar with random rules, where generalization corresponds to the hierarchical acquisition of deeper grammar rules as training time grows, and the generalization cost of early stopping can be characterized. We summarize these results in a phase diagram. Overall, our results support that a principled early-stopping criterion - scaling with dataset size - can effectively optimize generalization while avoiding memorization, with direct implications for hyperparameter transfer and privacy-sensitive applications.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2505.16959v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.07175v3cs.CL공통 태그 Memorization공식 코드 · Papers with Code

언어 모델에서 사실(factoid)의 연속적 암기

Continual Memorization of Factoids in Language Models

새로운 지식이 빠르게 축적되면서, 사전학습된 지식을 갖춘 언어 모델(LM)은 급속히 시대에 뒤처지게 된다. LM을 업데이트하는 일반적인 접근은 새로운 지식에 직접 미세조정하는 것이다. 그러나 최근 연구들은 암기를 위한 미세조정이 지식 저장에 비효율적일 수 있거나 환각(hallucination)을 악화시킬 수 있음을 보여준다. 본 연구에서는 연속적 암기(continual memorization)라고 부르는 설정을 제안한다. 이 설정에서 모델은 후속 데이터셋에 대한 여러 단계의 미세조정을 거치면서 일련의 사실(factoid)을 암기하고 유지해야 한다. 광범위한 실험을 통해 망각 패턴을 분석한 결과, LM이 광범위하게 망각에 시달리며, 특히 두 번째 단계에서 사실을 암기해야 할 때 더욱 그러함을 보인다. 망각은 학습 동역학을 수정함으로써 완화할 수 있다고 가정한다: (1) 사실을 학습할 때 암기 과정을 보호하거나 (2) 후속 학습 단계로 인한 간섭을 줄이는 것. 흥미롭게도, 다양한 학습 단계에서 무작위로 생성된 단어 시퀀스나 사전학습 코퍼스에서 샘플링한 일반 데이터를 혼합하는 것이 망각을 효과적으로 완화함을 발견한다(REMIX: Random and Generic Data Mixing). REMIX는 심각한 망각으로부터 성능을 회복할 수 있으며, 리플레이(replay) 방법 및 기타 연속 학습 베이스라인을 능가한다. REMIX가 학습 과정에 미치는 영향을 분석한 결과, 견고한 암기는 뚜렷한 패턴을 따름을 확인한다: 모델이 사실을 평소보다 더 이른 레이어에 저장하고 이를 보존하는 레이어를 다양화하며, 이로 인해 학습한 사실을 더 쉽게 회상하고 조작할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.