OpenGNS: 비전, 언어, 확산 모델 전반의 그래디언트 노이즈 스케일 공개 데이터셋
OpenGNS: An Open Dataset of the Gradient Noise Scale across Vision, Language, and Diffusion Models
한국어 초록
그래디언트 노이즈 스케일(Gradient Noise Scale, GNS) 지표는 확률적 경사 하강법에서 그래디언트의 신호 대 잡음비를 측정하며, McCandlish et al. (2018)이 보인 바와 같이 신경망 학습 중 임계 배치 크기(Critical Batch Size, CBS)를 근사하는 데 사용할 수 있다. 최전선 모델의 기술 보고서에는 등장함에도 불구하고, 현대 아키텍처 전반에 걸친 GNS 측정의 공개 데이터셋은 존재하지 않아 이 지표의 체계적 연구가 제한되어 왔다. 본 연구는 이러한 공백을 메우기 위해 세 영역, 즉 ResNet을 이용한 이미지 분류, 생성적 사전학습 트랜스포머(Generative Pre-trained Transformers, GPT)를 이용한 자기회귀 언어 모델링, 확산 트랜스포머(Diffusion Transformers, DiT)를 이용한 이미지 합성에 걸친 400개 이상의 GNS 측정 궤적으로 이루어진 데이터셋 OpenGNS를 공개한다. 이 데이터셋은 조밀한 배치 크기 및 학습률 스윕과 함께 최대 업데이트 파라미터화(Maximal Update Parameterization, muP) 하에서 학습된 11M에서 1B 파라미터의 모델을 포괄한다. 이 데이터셋을 기반으로 GNS가 하이퍼파라미터, 규모, 학습 진행에 어떻게 의존하는지, 그리고 CBS와 어떤 관계를 갖는지 연구한다. GNS가 일관된 "학습의 온도"로 거동하여, 동등한 손실에서 muP 하에 모델 크기에 걸쳐 안정적으로 유지됨을 발견하였으며, 결과는 CBS와의 관계에 과제 의존적 편향이 있음을 시사한다. 즉 분류에서는 CBS를 과대추정하고 생성 과제에서는 과소추정하는 경향이 있으며, 이는 일반적인 CBS 정의 전반에서 방향이 일관된다. 데이터셋은 https://huggingface.co/datasets/olympique-marcel/OpenGNS 에서 이용할 수 있다.
원문 초록
The Gradient Noise Scale (GNS) metric measures the signal-to-noise ratio of gradients in stochastic gradient descent and, as shown by McCandlish et al. (2018), can be used to approximate the Critical Batch Size (CBS) during neural network training. Despite its appearance in technical reports of frontier models, no open dataset of GNS measurements across modern architectures exists, limiting systematic study of the metric. We close this gap by releasing OpenGNS, a dataset of more than 400 GNS measurement trajectories spanning three domains: image classification with ResNets, autoregressive language modeling with Generative Pre-trained Transformers (GPTs), and image synthesis with Diffusion Transformers (DiTs), covering models from 11M to 1B parameters trained under Maximal Update Parameterization (muP) with dense batch-size and learning-rate sweeps. Building on this dataset, we study how the GNS depends on hyperparameters, scale, and training progress, and how it relates to the CBS. We find that the GNS behaves as a consistent "temperature of training", remaining stable across model sizes under muP at equivalent loss, and our results suggest task-dependent biases in its relation to the CBS: a tendency to overestimate the CBS for classification and to underestimate it for generative tasks, consistent in direction across common CBS definitions. The dataset is available at https://huggingface.co/datasets/olympique-marcel/OpenGNS
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24331v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.