PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25975v2cs.LG

Tensorion: A Tensor-Aware Generalization of the Muon Optimizer

Adam 등 1차 최적화기는 파라미터를 구조 없는 벡터로 취급해 다차원 텐서 가중치의 구조를 놓치는데, Muon의 스펙트럴 노름 제약 최적화를 고차 텐서로 확장한 Tensorion은 적응적으로 선택한 unfolding 행렬 연산으로 계산 가능한 LMO(linear minimization oracle)를 통해 텐서 스펙트럴 노름을 효과적으로 제한한다. 2차 텐서에서는 Muon과 동일하게 동작하고, CNN·Vision Transformer 등 컴퓨터 비전(CV) 실험에서 Adam 및 기존 텐서 인식 기준 대비 수렴과 그래디언트 업데이트 안정성이 개선되었다.

arXiv:2607.04033v1cs.LG

OmniOpt: 현대 옵티마이저의 분류체계, 기하학, 그리고 벤치마킹

OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers

대규모 모델 학습을 위한 옵티마이저 선택은 컴퓨팅, 메모리, 튜닝 예산, 태스크 다양성의 제약을 동시에 받는 시스템 수준의 설계 결정이 되었지만, 100개 이상의 방법들로 구성된 이 분야는 여전히 파편화된 상태로 남아 있다. 이에 우리는 연구 커뮤니티를 위한 옵티마이저의 통합 서베이 및 벤치마크 쿡북인 OmniOpt를 제시한다. OmniOpt는 네 가지 연결된 구성요소를 기반으로 한다. 첫째, 모든 옵티마이저 업데이트를 5단계 메타 파이프라인을 통한 구조화된 변환으로 다루고, 대부분의 방법이 이 단계 중 하나 또는 두 개만을 활용함을 보인다. 둘째, 노름 제약 선형 최소화 오라클(LMO)을 사용하여 서로 다른 옵티마이저를 통합한다. 셋째, 이 두 관점을 토대로 이중 차원 분류체계를 구성하는데, 한 차원은 각 방법을 메커니즘 계열에 배정하고 다른 차원은 해당 방법이 개선하려는 측정 가능한 학습 목표를 기록한다. 넷째, 본 논문의 핵심으로서, 언어 모델 사전학습부터 이미지 분류에 이르기까지 대표적인 옵티마이저, 모델 규모, 학습 체계를 아우르는 통합 크로스 도메인 벤치마크에서 전체 분류체계를 구현하고, 여러 효과 목표에 걸쳐 각 방법 계열을 체계적으로 분석하여 그 트레이드오프를 제시한다. OmniOpt는 이를 통해 연구 커뮤니티에 명시적인 메커니즘 및 목표 가정 하에서 옵티마이저를 선택하기 위한 실용적인 좌표 체계를 제공하고, 옵티마이저 커뮤니티의 미래 발전 방향을 제시한다.

arXiv:2606.30813v1cs.LG

Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization

Deep neural networks with repeated architectural blocks, such as transformers, often exhibit structured relationships across layers that emerge during training. Motivated by this observation, we introduce \emph{Depth-wise Gradient Augmentation}, a general optimization paradigm in which the update applied to each layer is obtained by transforming the collection of block-wise optimizer updates along the depth dimension. Within this framework, we study \emph{Gradient Smoothing}, a family of depth-wise smoothing methods, and instantiate it with a simple local \emph{Window Smoothing} operator. The resulting method operates directly on block-wise updates produced by arbitrary base optimizers (e.g., SGD, Adam, Muon), incurs minimal computational overhead, and is compatible with existing optimization pipelines. We evaluate Gradient Smoothing across a diverse set of architectures and training regimes, including language model pretraining, RL post-training of LLMs for reasoning, diffusion modeling, and image classification with Vision Transformers. Across these settings, Gradient Smoothing consistently improves optimization and generalization performance without modifying model architectures or training objectives. We further show that it promotes more structured representation evolution across depth, consistent with its interpretation as a structured depth-wise preconditioning method. Together, these results establish Depth-wise Gradient Augmentation as a promising framework for exploiting cross-depth structure in optimization and demonstrate Gradient Smoothing as a simple and broadly applicable instantiation.