PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.27141v2cs.CL

전문가 혼합(MoE) 언어 모델에서 라우팅 재가중치를 통한 제한적인 고정관념 제어

Limited Stereotype Control Through Routing Reweighting in MoE Language Models

인구통계학적 프롬프트는 전문가 혼합(MoE) 언어 모델에서 중립적인 프롬프트와 다르게 라우팅되며, 이는 라우팅 수준에서의 고정관념 제어에 대한 실험 동기를 부여합니다. 우리는 인구통계학적 라우팅 프로파일, 경험적 층(layer) 선택, 고정된 추론 시점 재가중치를 결합한 진단 프레임워크인 FARE(Fairness-Aware Routing Equilibrium)를 도입하고, 영어 환경에서 5개의 MoE 아키텍처를 평가합니다. 선택된 작동 지점에서 CrowS-Pairs 선호도 변화는 최대 1.3%포인트에 불과하며, DeepSeekMoE는 개입을 선택하지 않습니다. 쌍체 95% 신뢰구간은 개입이 이루어진 각 모델에서 2.2포인트를 초과하는 감소를 배제하며, 유일하게 명목상 유의미했던 변화(Qwen1.5, p = 0.015)도 다중 비교 보정을 거치면 유의성을 유지하지 못합니다. 그럼에도 불구하고 OLMoE와 Qwen3는 거의 모든 상위 k개(top-k) 전문가 집합을 변경합니다. 노이즈 대조군, 무작위 및 절단된 합성 프로파일, 하드 마스킹 또한 선호도를 최대 1.5포인트만 변화시킵니다. OLMoE, Mixtral, Qwen1.5, Qwen3에 대한 4가지 생성 프로토콜은 측정된 독성, 어휘 또는 참조 중복 지표에서 일관된 변화를 보이지 않습니다. 선택 항목과 평가 항목이 겹치므로 이러한 비교는 독립적인 평가가 아닙니다. 테스트된 재가중치 절차는 제한적인 고정관념 제어만을 제공합니다.