arXiv:2108.07535

SPMoE: Generate Multiple Pattern-Aware Outputs with Sparse Pattern Mixture of Experts

Shaobo Cui, Xintong Bao, Xuming Lin, Zhongzhou Zhao, Ji Zhang, Wei Zhou, Haiqing Chen

제출 2021-08-17

원문 초록

Many generation tasks follow a one-to-many mapping relationship: each input could be associated with multiple outputs. Existing methods like Conditional Variational AutoEncoder(CVAE) employ a latent variable to model this one-to-many relationship. However, this high-dimensional and dense latent variable lacks explainability and usually leads to poor and uncontrollable generations. In this paper, we innovatively introduce the linguistic concept of pattern to decompose the one-to-many mapping into multiple one-to-one mappings and further propose a model named Sparse Pattern Mixture of Experts(SPMoE). Each one-to-one mapping is associated with a conditional generation pattern and is modeled with an expert in SPMoE. To ensure each language pattern can be exclusively handled with an expert model for better explainability and diversity, a sparse mechanism is employed to coordinate all the expert models in SPMoE. We assess the performance of our SPMoE on the paraphrase generation task and the experiment results prove that SPMoE can achieve a good balance in terms of quality, pattern-level diversity, and corpus-level diversity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20427v1cs.CL공통 태그 Mixture-of-Experts, Diversity

MoE 라우팅은 허프만 코딩인가? 사고의 연쇄에서 발견한 빈도-다양성 법칙

Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought

전문가 혼합(MoE) 아키텍처는 스케일링을 혁신했지만, 라우팅의 근본적 논리는 여전히 블랙박스로 남아 있다. 본 논문에서는 MoE 라우팅이 단순한 선택이 아니라 허프만 코딩(Huffman Coding)의 현현임을 밝히는 근본적 지배 원칙을 발견한다. 빈도-다양성 법칙(Frequency-Diversity Law)을 제안하며, Phi-3.5-MoE, Gemma-4-27B-A4B와 같은 최신 모델이 자발적으로 정보이론적 엔진으로 작동함을 보인다. 이러한 모델은 흔한 토큰에는 희소 전문가 자원을 배분하는 반면, 사고의 연쇄(Chain-of-Thought) 경로에서 발견되는 드물고 복잡한 과제에는 고다양성 전문가 위원회를 호출한다. 그러나 Qwen3.5-35B-A3B에서 중요한 중복 함정을 확인한다. 유효 희소성(k/E_eff)이 충분히 낮을 때, 로드 밸런싱(load-balancing)이 의도치 않게 기능적 중복을 강요하여 근본적인 허프만 효율 신호를 가린다. 이 격차를 메우기 위해 기능적 중복을 제거하는 정밀 전략인 Subset Difference Pruning을 제안한다. 가지치기가 추론을 저하시키지 않음을 보이며, 오히려 모델의 잠재적 허프만 효율을 해방시켜 논리가 간결하고 고밀도 경로로 수렴하도록 한다. 우리의 발견은 차세대 MoE가 강제적 로드 밸런싱을 넘어 최소 기술 길이(MDL, Minimum Description Length) 최적성을 향해 나아가야 함을 시사한다. 고빈도 정보에는 더 짧은 전문가 라우팅 코드를, 저빈도 정보에는 더 길고 다양한 코드를 할당함으로써 라우팅을 휴리스틱에서 원칙적 압축 엔진으로 전환할 수 있다.

arXiv:2607.13394v1cs.CL공통 태그 Mixture-of-Experts, Diversity

GFlowRL: 대규모 언어 모델로 분포 매칭 강화학습 확장

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

생성 흐름 네트워크(GFlowNets)는 대규모 추론 모델을 위한 보상 최대화 강화학습(RL)에 대한 유망한 대안을 제공하며, 지배적 모드로 수렴하는 대신 보상 분포를 맞춤으로써 다양한 추론 경로를 장려한다. 최근 연구는 수학 및 코드 분야에서 가능성을 보여주지만, GFlowNet 스타일의 강화학습을 현대적인 사후 학습 파이프라인으로 확장하는 것은 여전히 어렵다. 모델 크기, 롤아웃 수평선, 보상 노이즈, 분산 시스템 복잡도가 함께 증가함에 따라, 학습된 프롬프트 조건부 분할 함수(partition function)는 유용한 정규화 요소(normalizer)라기보다 그래디언트 불안정성과 엔지니어링 오버헤드의 원인이 된다. 체계적인 분석을 통해, 이전에는 필수적인 것으로 여겨졌던 학습된 분할 함수가 학습에 이미 필요한 롤아웃 그룹으로부터 계산되는 배치 내 Monte Carlo 추정치로 대체될 수 있음을 밝혔다. 우리는 보조 분할 네트워크를 완전히 제거하면서도 보상-분포 매칭 목표를 유지하는 간소화된 GFlowNet 스타일 강화학습 알고리즘인 GFlowRL을 제안한다. 이는 롤아웃/트레이너 드리프트에 대한 중요도 샘플링(importance-sampling) 보정과 이상치(outlier) 잔차에 대한 비대칭 flow-gap 클리핑이라는 두 가지 안정화 장치로 보완된다. GFlowRL은 수학, 코드, 적대적 레드팀 테스팅 벤치마크에서 모든 대안 방법들을 능가하며, 14B 규모에서 Codeforces 레이팅 2048(o3-mini와 25 Elo 이내)에 도달하고 AdvBench 및 HarmBench에서 최고 평균 ASR@1을 달성하여, 이전 GFlowNet 스타일 방법인 FlowRL이 발산하는 영역에서 이전 SOTA 다중 턴(multi-turn) 공격자를 능가한다. 동일한 방법은 최대 235B 파라미터까지 평가된 모든 전문가 혼합(MoE) 구성으로 전이되며, FlowRL은 여기서도 다시 수렴하지 못한다. 우리가 아는 한, GFlowRL은 dense 및 sparse 아키텍처 모두에서 안정적으로 확장되는 최초의 GFlowNet 스타일 강화학습 알고리즘이다. 코드는 https://github.com/microsoft/gflowrl 에 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.