arXiv:2609.21039v1 cs.LG

Stiefel-AdamW: 선형 인수분해 블록을 위한 기하학 인지 AdamW

Stiefel-AdamW: Geometry-Aware AdamW for Linear Factorization Blocks

Emanuele Zangrando, Marco Sutti, Francesco Tudisco

제출 2026-09-21

한국어 초록

현대 심층 학습(deep learning)에서 널리 사용되는 구조적 패턴 중 하나는 선형 인수분해 블록(linear factorization block)입니다. 이는 중간에 비선형성이 개입하지 않고 두 매개변수(parameter) 행렬이 직접 곱해지는 $W = BA$ 형태의 서브모듈입니다. 이러한 블록은 LoRA 어댑터, 저랭크 압축 레이어, 셀프 어텐션(self-attention)의 쿼리-키 곱 등에서 나타나며 공통적인 병리적 문제를 공유합니다. 바로 인수분해가 유일하지 않다는 점이며, 이는 학습(training)을 불안정하게 만들고 사용 가능한 학습률(learning rate)을 제한할 수 있습니다. 그럼에도 불구하고, 인수분해 블록은 일반적으로 기본 기하학적 구조를 무시하는 표준 유클리드 방법으로 최적화(optimization)됩니다. 본 논문에서는 이러한 블록이 나타나는 모든 곳에서 AdamW를 거의 그대로 대체하여 사용할 수 있는 Stiefel-AdamW를 소개합니다. 한쪽 인수를 스티펠 다양체(Stiefel manifold)로 제약하고 다른 쪽 인수는 유클리드 공간에 둠으로써, Stiefel-AdamW는 전체 $\mathrm{GL}(\mathbb{R}^r)$ 게이지 대칭성을 컴팩트한 직교 대칭성으로 완화하여 인수 폭주(factor blow-up)를 방지하는 동시에 AdamW의 실질적인 강점인 좌표별 대각 프리컨디셔닝을 유지합니다. 모멘트 추정은 주변 유클리드 공간에서 수행되며, 기하학적 구조는 접공간 투영(tangent-space projection)과 다양체 리트랙션(retraction)을 통해서만 반영됩니다. AdamW 대비 구현 오버헤드는 최소화되며, 이를 통해 생성된 옵티마이저(optimizer)가 리만 방법의 안정성 이점과 표준 수렴(convergence) 보장을 모두 상속함을 보여줍니다. GPT2, ViT, Mistral 7B의 LoRA 스타일 미세조정(fine-tuning)과 OpenWebText에서의 GPT2 전체 사전학습(pre-training)을 통해 Stiefel-AdamW를 검증하였으며, AdamW 대비 사실상 추가 비용 없이 강력한 베이스라인에 걸쳐 일관된 성능 향상을 보임을 입증합니다.

원문 초록

A pervasive structural pattern in modern deep learning is the linear factorization block: a submodule of the form $W = BA$ in which two parameter matrices are multiplied directly, with no intervening nonlinearity. Such blocks appear in LoRA adapters, low-rank compressed layers, query-key products of self-attention, and share a common pathology: the factorization is non-unique, which can destabilize training and limit usable learning rates. Despite this, factorization blocks are typically optimized with standard Euclidean methods that ignore the underlying geometry. We introduce Stiefel-AdamW, a near drop-in replacement for AdamW for use wherever such blocks appear. By constraining one factor on the Stiefel manifold while leaving the other Euclidean, Stiefel-AdamW relaxes the full $\mathrm{GL}(\mathbb{R}^r)$ gauge symmetry to a compact orthogonal symmetry, ruling out factor blow-up while retaining the coordinate-wise diagonal preconditioning that gives AdamW its practical strength. Moment estimation is performed in the ambient Euclidean space, with geometry entering only through a tangent-space projection and a manifold retraction. The implementation overhead over AdamW is minimal, and we show that the resulting optimizer inherits both the stability benefits of Riemannian methods and standard convergence guarantees. We validate Stiefel-AdamW on LoRA-style fine-tuning of GPT2, ViT, and Mistral 7B and on full pretraining of GPT2 on OpenWebText, showing consistent improvements over strong baselines at essentially no additional cost over AdamW.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.21039v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.