Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study
원문 초록
Mixture-of-Experts (MoE) represents an ensemble methodology that amalgamates predictions from several specialized sub-models (referred to as experts). This fusion is accomplished through a router mechanism, dynamically assigning weights to each expert's contribution based on the input data. Conventional MoE mechanisms select all available experts, incurring substantial computational costs. In contrast, Sparse Mixture-of-Experts (Sparse MoE) selectively engages only a limited number, or even just one expert, significantly reducing computation overhead while empirically preserving, and sometimes even enhancing, performance. Despite its wide-ranging applications and these advantageous characteristics, MoE's theoretical underpinnings have remained elusive. In this paper, we embark on an exploration of Sparse MoE's generalization error concerning various critical factors. Specifically, we investigate the impact of the number of data samples, the total number of experts, the sparsity in expert selection, the complexity of the routing mechanism, and the complexity of individual experts. Our analysis sheds light on \textit{how \textbf{sparsity} contributes to the MoE's generalization}, offering insights from the perspective of classical learning theory.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MoFE-Time: Mixture of Frequency Domain Experts for Time-Series Forecasting Models
Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate
희소 레이어는 루프형 언어 모델의 스케일링에 핵심적이다
Sparse Layers are Critical to Scaling Looped Language Models
루프형 언어 모델은 트랜스포머 레이어 집합을 깊이 방향으로 반복하여 메모리 비용을 줄이고 루프 경계에서 자연스러운 조기 종료 지점을 제공한다. 그러나 루프형 모델은 고유한 레이어를 갖는 표준 트랜스포머만큼 유리하게 스케일링되지 않는다. 우리는 루프 유무에 따라 표준 트랜스포머와 전문가 혼합(MoE) 트랜스포머를 비교하여 두 가지 주요 결과를 얻는다. 첫째, 밀집 루프형 모델은 그렇지 않은 반면 Looped-MoE 모델은 표준 기준 모델보다 더 잘 스케일링됨을 확인한다. 우리는 이를 루프 간 라우팅 발산에서 비롯된 것으로 추적한다. Looped-MoE 모델에서는 동일한 공유 레이어를 통과할 때마다 서로 다른 전문가가 활성화되어, 추가 매개변수 없이 표현력을 회복한다. 둘째, 루프형 모델은 표준 모델보다 조기 종료에서 더 나은 연산-품질 절충을 가진다. 각 루프가 최종 출력을 생성하는 동일한 레이어로 끝나므로 루프 경계는 더 우수한 종료 지점이며, 이는 이 지점에서 출력이 더 일찍 수렴한다는 사실로 확인된다. 요약하면, 우리는 루프형 모델을 스케일링하기 위한 명확한 방향을 제시한다. 조기 종료를 갖춘 Looped-MoE 모델은 대규모에서 표준 트랜스포머를 능가할 수 있을 뿐 아니라, 품질 저하를 최소화하면서 상당한 메모리 및 추론 절감도 가능하게 한다.
대규모 비전-언어 모델에서의 인지 전문가 혼합
Mixture of Cognitive Experts in Large Vision-Language Models
대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형
Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation
모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.