저매개변수 직교 행렬 군을 위한 리만 구조 및 최적화
Riemannian Structure and Optimization for a Class of Low-Parametric Orthogonal Matrices
본 논문에서는 고정된 순열과 교차 배치된 블록 대각 인자들로 구성된 행렬, 즉 유연한 구조화된 행렬군(structured matrices)을 다룹니다. 이 행렬군은 표현력과 효율성 간의 균형 잡힌 절충으로 인해 최근 심층 학습(deep learning) 아키텍처에서 관심을 끌고 있으나, 이를 다루기 위한 효율적인 계산 전략은 아직 밝혀지지 않은 상태입니다. 우리는 리만 기하학(Riemannian geometry)을 통해 이 문제에 접근하며, 어떤 조건 하에서 이 행렬군이 매끄러운 다양체(smooth manifold) 구조를 갖는지 조사합니다. 실용적으로 중요한 직교 2인자 행렬의 경우, 필수적인 리만 도구들을 도출하고 이를 구현하기 위한 효율적인 알고리즘을 제안합니다. 이 알고리즘들은 자동 미분을 활용하고, 각 인자 내 매개변수(parameter) 공유를 지원하며, 명시적인 밀집 행렬 구성을 피합니다. 우리는 최적 행렬 근사 문제와 대규모 언어 모델(LLM)의 매개변수 효율적 미세조정(PEFT)에 대해 리만 최적화 프레임워크 내에서 이를 검증합니다. 2인자 설정을 넘어, 더 많은 수의 블록 대각 인자를 갖는 인수분해의 기하학적 및 행렬론적 특성도 함께 연구합니다.