PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12397v1cs.LG

Manifold Power Iteration을 활용한 전문가 혼합(MoE) 라우터 재설계

Redesign Mixture-of-Experts Routers with Manifold Power Iteration

라우터는 전문가 혼합(MoE) 모델의 핵심 구성 요소이다. 전문가의 대리(proxy) 역할을 하는 라우터 행렬의 각 행은 MoE 입력과의 유사도를 계산하여 어떤 전문가 부분집합이 활성화될지 결정한다. 이상적으로 각 라우터 행은 해당 전문가 행렬을 이러한 대표 벡터로 인코딩하도록 설계되어, 토큰과의 내적이 토큰-전문가 친화도를 더 잘 반영할 수 있어야 한다. 그러나 이러한 응축(condensation)을 강제하는 설계 원칙은 존재하지 않는다. 본 논문에서는 각 라우터 행을 해당 전문가의 주특이 방향(principal singular direction)과 정렬할 것을 제안한다. 이 방향은 행렬에 대한 가장 표현력 있는 수학적 기술을 제공하기 때문이다. 이 원칙에 기반하여 Manifold Power Iteration(MPI)을 이용한 라우터 재설계를 제안한다. 구체적으로, 라우터 가중치에 거듭제곱 반복(power iteration) 단계를 수행한 뒤, 효율성과 안정성을 모두 보장하기 위해 노름 제약을 부과하는 수축(retraction)을 수행하는 "Power-then-Retract" 패러다임을 도입한다. 이론적으로 MPI가 라우터 행들이 해당 전문가들의 주특이 방향으로 수렴하도록 이끈다는 것을 보인다. 실험적으로 10억(1B)에서 110억(11B) 파라미터에 이르는 규모의 MoE 모델을 사전학습(pre-training)하여, 이러한 정렬이 더 효과적인 MoE 모델을 가능하게 함을 확인한다.