arXiv:2509.02046 cs.LG

Fantastic Pretraining Optimizers and Where to Find Them

제출 2025-09-02

한국어 초록

아담W(AdamW)는 수많은 대안 옵티마이저가 1.4배에서 2배의 속도 향상을 제공한다고 주장함에도 불구하고, 언어 모델 사전학습에서 오랫동안 지배적인 옵티마이저로 자리잡아 왔습니다. 우리는 두 가지 방법론적 단점이 공정한 비교를 가로막고 실용적인 채택을 저해했다고 주장합니다: (i) 불균형한 하이퍼파라미터 튜닝과 (ii) 제한적이거나 오해의 소지가 있는 평가 설정입니다. 이 두 가지 문제를 해결하기 위해, 우리는 네 가지 모델 규모(0.1B-1.2B 파라미터)와 데이터-모델 비율(Chinchilla 최적값의 1-8배)에서 열 개의 딥 러닝 옵티마이저에 대한 체계적인 연구를 수행합니다. 우리는 공정하고 유익한 비교를 위해서는 엄격한 하이퍼파라미터 튜닝과 다양한 모델 규모 및 데이터-모델 비율에 걸친 평가가 필요하며, 이는 학습 종료 시점에 수행되어야 한다는 것을 발견했습니다. 첫째, 하나의 옵티마이저에 최적화된 하이퍼파라미터가 다른 옵티마이저에는 비최적일 수 있어, 맹목적인 하이퍼파라미터 전이는 공정하지 않습니다. 둘째, 많은 제안된 옵티마이저의 실제 속도 향상은 잘 튜닝된 기준선에 비해 주장된 것보다 낮으며, 모델 크기가 커짐에 따라 1.2B 파라미터 모델에서는 단지 1.1배로 감소합니다. 셋째, 목표 학습 예산에 도달하기 전에 중간 체크포인트를 비교하는 것은 오해를 불러일으킬 수 있으며, 학습률 감소로 인해 두 옵티마이저 간의 순위가 학습 중에 뒤바뀔 수 있습니다. 우리의 철저한 조사 결과, Muon과 Soap과 같은 모든 가장 빠른 옵티마이저는 행렬을 전처리기로 사용하여 그래디언트를 항목별 스칼라가 아닌 행렬로 곱하는 것을 발견했습니다. 그러나 행렬 기반 옵티마이저의 속도 향상은 모델 규모에 반비례하며, 0.1B 파라미터 모델에서는 아담W에 비해 1.4배에서 1.2B 파라미터 모델에서는 단지 1.1배로 감소합니다.

요약

사전학습 옵티마이저는 대규모 언어 모델 훈련에서 중요한 역할을 하며, 특히 **AdamW**는 오랜 기간 동안 표준으로 자리잡아왔습니다. 그러나 최근 연구들은 대안 옵티마이저들이 1.4배에서 2배의 속도 향상을 주장하고 있지만, 이러한 주장이 실제로는 과장된 것임을 보여주고 있습니다. 본 연구에서는 이러한 주장을 뒷받침하는 두 가지 주요 문제를 지적합니다. 첫째, 하이퍼파라미터 조정이 불균형하게 이루어질 수 있으며, 둘째, 평가 설정이 제한적이거나 오해를 불러일으킬 수 있다는 점입니다. 이를 해결하기 위해, 저자들은 10개의 딥러닝 옵티마이저를 다양한 모델 스케일과 데이터-모델 비율에서 체계적으로 비교하였습니다. 연구의 핵심 방법론은 하이퍼파라미터 조정 프레임워크를 세 가지 단계로 나누어 설명하는 것입니다. 첫 번째 단계에서는 각 옵티마이저의 하이퍼파라미터를 세밀하게 조정하여 최적의 성능을 도출합니다. 두 번째 단계에서는 메모리 요구량을 줄이기 위해 하이퍼파라미터의 조정이 필요한 부분만을 선택하여 최적화합니다. 마지막으로, 세 번째 단계에서는 모델 크기와 데이터 예산에 따라 하이퍼파라미터의 최적 값을 예측하는 스케일링 법칙을 적용합니다. 이러한 방법론은 옵티마이저 간의 공정하고 재현 가능한 비교를 보장하며, 연구 결과는 매트릭스 기반 옵티마이저가 스칼라 기반 옵티마이저보다 일관되게 더 나은 성능을 보인다는 점을 강조합니다. 이 연구는 하이퍼파라미터 조정의 중요성과 다양한 모델 스케일 및 데이터-모델 비율에서의 평가 필요성을 강조하며, 최적의 하이퍼파라미터가 다른 옵티마이저에 대해 비최적일 수 있음을 보여줍니다. 이러한 발견은 향후 옵티마이저 설계와 평가에 대한 기준을 설정하는 데 중요한 기여를 할 것입니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.