arXiv:2608.25231v1 cs.LG

출력 희석: MoE 모델의 중복적이지만 취약한 표현

Output Dilution: Redundant but Fragile Representations in MoE Models

Orion Reblitz-Richardson

제출 2026-08-25

한국어 초록

전문가 혼합(MoE) 모델은 밀집(dense) 모델만큼 도덕적 내용을 견고하게 인코딩하는 것처럼 보이지만, 실제 인코딩은 훨씬 더 취약하다. OLMoE-1B-7B에서 선형 프로브(linear probe)는 거의 모든 expert-층 조합으로부터 도덕적 valence를 복원하며, 평균 peak 층 정확도는 90%를 넘는다. 그러나 이러한 표현은 동일 크기의 dense 모델이 쉽게 견디는 활성화 노이즈 수준에서 붕괴하고, 견고성에서는 4.2배 차이가 난다. 우리는 이를 출력 희석(output dilution)에 기인한다고 추적한다. MoE 블록이 잔차 스트림(residual stream)에 기여하기 전에 활성 expert들에 대해 평균을 내기 때문에, 하류 층에 도달하는 feedforward 신호는 dense MLP에서보다 거의 두 자릿수만큼 작다. 관심 대상인 도德 정보는 집계 후에도 온전히 남지만, perturbation에 의해 쉽게 압도될 만한 스케일이다. 라우팅 자체는 노이즈 하에서 안정적이며, 취약성은 전적으로 희석된 집계에서 비롯된다. 체크포인트 궤적은 이것이 학습된 것이 아니라 아키텍처적으로 결정됨을 확인한다. Expert는 결코 특화되지 않으며 정확도는 처음 몇 천 step 안에 포화된다. 희소 아키텍처에서 중복 인코딩이 견고한 인코딩을 의미하지는 않는다.

원문 초록

Mixture-of-Experts (MoE) models appear to encode moral content as robustly as dense models, yet prove far more fragile in their encoding. In OLMoE-1B-7B, linear probes recover moral valence from nearly every expert-layer combination, with mean peak-layer accuracy above 90%. But these representations collapse under levels of activation noise that a dense model of matched size easily tolerates, with a 4.2-fold difference in robustness. We trace this to output dilution. Because the MoE block averages across active experts before contributing to the residual stream, the feedforward signal reaching downstream layers is nearly two orders of magnitude smaller than in a dense MLP. Moral information, our interest, survives aggregation intact but at a scale trivially overwhelmed by perturbation. Routing itself remains stable under noise while the vulnerability originates entirely in the diluted aggregate. Checkpoint trajectories confirm this is architectural, not learned. Experts never specialize and accuracy saturates within the first few thousand steps. In sparse architectures, redundant encoding does not imply robust encoding.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25231v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.