PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09967v2cs.LG

곡선 가중치 공간에서의 학습: 최적화 향상을 위한 지수-선형 가중치 재매개변수화

Learning in Curved Weight Space:Exponential-Linear Weight Reparameterization for Improved Optimization

많은 신경망 연산은 덧셈적이기보다 곱셈적 특성을 지닌다. 예를 들어, 노름을 절반으로 줄이거나 두 배로 늘리는 것은 상대적으로 유사하지만, 선형 스텝을 취할 때 서로 다른 최적화 거리를 요구한다. Adam과 같은 적응형 최적화기는 좌표별로 업데이트를 정규화하지만, 업데이트 스텝은 여전히 덧셈 방식으로 이루어진다. 크기가 크게 다른 가중치들은 절댓값 기준으로 유사한 크기의 변화를 받게 되어, 상대적 변동에서는 큰 차이가 발생한다. 우리는 \textbf{\method} (\textbf{\methodshort})를 소개한다. 이는 신경망을 위한 가중치 재매개변수화 기법으로, 부호 인식 대칭 지수 경로와 항등 함수형 선형 경로를 결합한다. 대칭 지수 경로는 원(raw) 가중치가 작을 때는 거의 선형에 가깝지만, 크기가 커질수록 점점 더 곡선형이 된다. 로그 공간에서의 덧셈 업데이트는 유효 가중치 공간에서 크기 비례적인 변화로 매핑된다. 선형 경로는 변환을 통해 직접적인 경로를 제공하며, 우리는 이것이 최적화를 안정화한다고 가설을 세운다. 학습 가능한 스케일, 곡률, 오프셋 매개변수는 경로 간의 균형과 지수 경로의 곡률을 제어한다. 이러한 구성 요소들이 곡선형 매개변수 공간 기하구조를 형성하여, 표준 선형 매개변수화 대비 손실 하강 속도를 실험적으로 향상시킨다. 또한 우리는 유용한 \emph{불일치 초기화}를 발견한다. 원(raw) 가중치는 변환의 대칭 버전이 Xavier 통계와 일치하도록 선택되지만, 학습 시에는 양수 가중치를 원래 강도로 유지하면서 음수 가중치의 크기는 더 작게 만드는 비대칭 순방향 변환을 사용한다. 소규모 모델 에이블레이션에서 이 방법은 초기 최적화를 개선하며 일종의 대칭 깨기로 작용할 수 있다. 우리는 9가지 너비×깊이 구성에서 OpenWebText로 트랜스포머를 학습하였으며, \methodshort는 1.32--1.49배 더 적은 학습 스텝으로 동일한 검증 손실에 도달하였고, 너비가 가장 큰 경우에 가장 큰 성능 향상이 나타났다.

arXiv:2607.01124v1cs.LG

Muon as a Residual Connection

Muon 옵티마이저가 학습 중 암묵적인 잔차 연결(residual connection)로 해석될 수 있다는 새로운 기계론적 설명을 제안하며, 업데이트를 직교화(orthogonalizing)함으로써 즉각적인 그래디언트 충실도를 일부 희생하는 대신 하위 레이어의 표현 보존성을 높이는 트레이드오프를 분석한다. 선형 최적화 환경의 이단계 실험을 통해, Muon이 로컬 목표 수렴은 느리지만 하위 레이어가 활용하기 더 쉬운 표현을 학습함을 보여 Muon의 성능을 설명하는 새로운 개념적 관점과 옵티마이저 설계 원칙을 제시한다.

arXiv:2605.18106v4math.OC

옵티마이저 설계를 위한 대칭 호환 원칙: 임베딩, LM Head, SwiGLU MLP, MoE Router

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers

Adam과 같은 좌표별 옵티마이저가 신경망 매개변수 공간의 대칭성·등변성을 반영하지 못하는 문제를 해결하기 위해, 각 가중치 블록의 대칭군에 등변인 갱신을 설계하는 대칭 호환 원칙을 제안하고 임베딩, LM head, SwiGLU MLP, MoE router용 층별 옵티마이저 스택을 유도한다. Qwen3·Gemma3·OLMoE·gpt-oss 스타일 dense·sparse MoE(전문가 혼합) 언어 모델 사전학습에서 AdamW 대비 최종 검증 손실 개선, sparse MoE의 전문가 부하 불균형 완화, router 안정성 및 전반적 학습 안정성 향상이 일관되게 확인된다.