Conventional LLMs may suffer from corpus heterogeneity and subtle condition changes. While finetuning can create the catastrophe forgetting issue, application of meta-learning on LLMs is also limited due to its complexity and scalability. In this paper, we activate the meta-signal of $\beta$ within the SwiGLU blocks, resulting in a meta-gating mechanism that adaptively adjusts the nonlinearity of FFN. A hypernetwork is employed which dynamically produces $\beta$ on textual conditions, providing meta-controllability on LLMs. By testing on different condition types such as task, domain, persona, and style, our method outperforms finetuning and meta-learning baselines, and can generalize reasonably on unseen tasks, condition types, or instructions. Our code can be found in https://github.com/AaronJi/MeGan.
희소 전문가 혼합(Sparse Mixture-of-Experts, MoE) 모델은 학습된 라우팅(routing)과 대규모 전문가 풀(pool)에서의 선택을 결합한다. 우리는 밀집(dense) 대응 모델을 사용하여 동적 전문가 결합의 기여도를 분리한다: 고정된 전체 FFN 너비(width)에서, 모든 토큰에 대해 항상 활성화되고 소프트맥스 게이트(gate)로 결합되는 $K$개의 SwiGLU 전문가를 사용한다. 더 큰 풀이나 이산적(discrete) 선택이 없는 경우, 밀집 기준선은 $K=1$인 경우에 해당한다. 검증 손실은 $K$에 따라 비단조적으로(non-monotonically) 변화한다: $K=2$는 기준선보다 $0.0048$ 개선되는 반면, $K=4$와 $K=6$은 각각 $0.0053$과 $0.0197$만큼 악화된다. 라우팅은 일반적으로 소프트(soft)하게 유지되고 전문가 사용은 균형을 이루지만, $K=4$ 모델의 첫 번째 층에서는 예외적으로 라우팅이 거의 원-핫(one-hot)에 가깝다. 이 게이트를 균등(uniform)하게 강제하면 진단용 서브셋(diagnostic subset)에서 손실이 $2.4$ 나트(nat)만큼 증가하는데, 이는 해당 집중된 라우팅이 기능적으로 중요함을 나타낸다. 또한 우리는 이 아키텍처가 토큰에 따라 달라지고 심플렉스(simplex)로 제약된 그룹 스케일링(scaling)을 갖는 밀집 SwiGLU와 정확히 동일하며, 그 함수 클래스(function class)에 밀집 기준선을 포함함을 보인다. 이러한 단일 실행(single-run) 결과는 고정된 너비에서 항상 활성화되고 소프트하게 게이팅되는 FFN에 대해 세분성(granularity)의 최적점이 존재함을 시사하며, 테스트된 구성들 중 $K=2$가 가장 우수한 성능을 보였다.