Self-Routing: 은닉 상태로부터의 매개변수 없는 전문가 라우팅
Self-Routing: Parameter-Free Expert Routing from Hidden States
전문가 혼합(MoE) 레이어에서 학습된 라우터 없이도 토큰 은닉 상태의 일부 좌표를 전문가 로짓으로 직접 활용하는 파라미터 없는 라우팅 메커니즘 Self-Routing을 제안한다. GPT-2, LLaMA 언어 모델 및 ImageNet-1K 분류 실험에서 Self-Routing은 전용 라우팅 파라미터를 완전히 제거하면서도 학습 라우터와 경쟁력 있는 성능을 유지하고, 명시적인 부하 균형 손실 없이 약 17% 높은 라우팅 엔트로피로 더 균형 잡힌 전문가 활용도를 달성한다.