OmniOpt: 현대 옵티마이저의 분류체계, 기하학, 그리고 벤치마킹
OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers
대규모 모델 학습을 위한 옵티마이저 선택은 컴퓨팅, 메모리, 튜닝 예산, 태스크 다양성의 제약을 동시에 받는 시스템 수준의 설계 결정이 되었지만, 100개 이상의 방법들로 구성된 이 분야는 여전히 파편화된 상태로 남아 있다. 이에 우리는 연구 커뮤니티를 위한 옵티마이저의 통합 서베이 및 벤치마크 쿡북인 OmniOpt를 제시한다. OmniOpt는 네 가지 연결된 구성요소를 기반으로 한다. 첫째, 모든 옵티마이저 업데이트를 5단계 메타 파이프라인을 통한 구조화된 변환으로 다루고, 대부분의 방법이 이 단계 중 하나 또는 두 개만을 활용함을 보인다. 둘째, 노름 제약 선형 최소화 오라클(LMO)을 사용하여 서로 다른 옵티마이저를 통합한다. 셋째, 이 두 관점을 토대로 이중 차원 분류체계를 구성하는데, 한 차원은 각 방법을 메커니즘 계열에 배정하고 다른 차원은 해당 방법이 개선하려는 측정 가능한 학습 목표를 기록한다. 넷째, 본 논문의 핵심으로서, 언어 모델 사전학습부터 이미지 분류에 이르기까지 대표적인 옵티마이저, 모델 규모, 학습 체계를 아우르는 통합 크로스 도메인 벤치마크에서 전체 분류체계를 구현하고, 여러 효과 목표에 걸쳐 각 방법 계열을 체계적으로 분석하여 그 트레이드오프를 제시한다. OmniOpt는 이를 통해 연구 커뮤니티에 명시적인 메커니즘 및 목표 가정 하에서 옵티마이저를 선택하기 위한 실용적인 좌표 체계를 제공하고, 옵티마이저 커뮤니티의 미래 발전 방향을 제시한다.