Stiefel 층의 모든 특이값이 1로 고정되는 제약을 완화하기 위해, ManifoldFlow는 가중치를 W = QS^{1/2}로 분해하여 정규직교 기저 Q는 Stiefel 다양체 위에 유지하면서 양정치 행렬 S를 통해 학습 가능한 유계 스펙트럼을 부여한다. 순환 언어 모델 투영 등 Stiefel 사전이 유용한 설정에서 고정 스펙트럼 대비 일관된 성능 향상을 보이며, 고유값 클리핑을 통한 직접적인 특이값 제어가 가능함을 이론 및 실험으로 뒷받침한다.
GPT-2 사전학습 과정에서 어텐션 레이어에는 Stiefel 기하학을, MLP 레이어에는 DGram 기하학을 적용하는 모듈별 가중치 공간 제약 방식이 균일한 적용보다 우수한 성능을 보인다. 반면 다른 구성은 특이값 성장으로 인한 소프트맥스 포화 현상으로 인해 불안정성을 겪는다.
라우터는 전문가 혼합(MoE) 모델의 핵심 구성 요소이다. 전문가의 대리(proxy) 역할을 하는 라우터 행렬의 각 행은 MoE 입력과의 유사도를 계산하여 어떤 전문가 부분집합이 활성화될지 결정한다. 이상적으로 각 라우터 행은 해당 전문가 행렬을 이러한 대표 벡터로 인코딩하도록 설계되어, 토큰과의 내적이 토큰-전문가 친화도를 더 잘 반영할 수 있어야 한다. 그러나 이러한 응축(condensation)을 강제하는 설계 원칙은 존재하지 않는다. 본 논문에서는 각 라우터 행을 해당 전문가의 주특이 방향(principal singular direction)과 정렬할 것을 제안한다. 이 방향은 행렬에 대한 가장 표현력 있는 수학적 기술을 제공하기 때문이다. 이 원칙에 기반하여 Manifold Power Iteration(MPI)을 이용한 라우터 재설계를 제안한다. 구체적으로, 라우터 가중치에 거듭제곱 반복(power iteration) 단계를 수행한 뒤, 효율성과 안정성을 모두 보장하기 위해 노름 제약을 부과하는 수축(retraction)을 수행하는 "Power-then-Retract" 패러다임을 도입한다. 이론적으로 MPI가 라우터 행들이 해당 전문가들의 주특이 방향으로 수렴하도록 이끈다는 것을 보인다. 실험적으로 10억(1B)에서 110억(11B) 파라미터에 이르는 규모의 MoE 모델을 사전학습(pre-training)하여, 이러한 정렬이 더 효과적인 MoE 모델을 가능하게 함을 확인한다.