PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.00421v2cs.AI

Self-Routing: 은닉 상태로부터의 매개변수 없는 전문가 라우팅

Self-Routing: Parameter-Free Expert Routing from Hidden States

전문가 혼합(MoE) 레이어에서 학습된 라우터 없이도 토큰 은닉 상태의 일부 좌표를 전문가 로짓으로 직접 활용하는 파라미터 없는 라우팅 메커니즘 Self-Routing을 제안한다. GPT-2, LLaMA 언어 모델 및 ImageNet-1K 분류 실험에서 Self-Routing은 전용 라우팅 파라미터를 완전히 제거하면서도 학습 라우터와 경쟁력 있는 성능을 유지하고, 명시적인 부하 균형 손실 없이 약 17% 높은 라우팅 엔트로피로 더 균형 잡힌 전문가 활용도를 달성한다.