저차원 중첩 탈출: 고차원 희소 분리를 통한 다중 과제 모델 병합
Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement
한국어 초록
모델 병합은 추가 학습 없이 다중 과제 범용 모델을 구축하는 효율적인 방법을 제공하지만, 심각한 과제 간 간섭(task interference) 하에서는 성능이 종종 저하된다. 모델 병합에서 과제 간 간섭은 주로 중첩(superposition)에서 비롯되며, 과제별 특징이 매개변수 공간 내에서 얽히게 된다. 이러한 얽힘은 기존 분해 방법이 간섭 성분으로부터 유용한 과제 방향을 효과적으로 분리하기에 불충분하게 만든다. 본 논문에서는 Sparse Autoencoder(SAE)를 사용해 과제 벡터를 고차원 희소 특징 공간에 투영하고, 융합 전에 특징 수준의 분리(disentanglement)를 가능하게 하는 희소 표현 기반 병합 프레임워크를 제안한다. 계산 부담을 줄이기 위해 선택적 병합을 위해 과제 핵심 레이어를 식별하는 경량 Group-Ranked Zeroth-Order Optimizer(GR-ZOO)를 추가로 도입한다. Qwen2.5-1.5B와 Qwen2.5-7B 모두에서의 실험은 수학적 추론, 코드 생성, instruction following, 일반 지식 과제 전반에 걸쳐 Task Arithmetic, TIES-Merge, DARE, Fisher-Merge 및 여러 최근 학습 없는 병합 방법을 포함한 대표적 기준선들보다 우리 방법이 일관되게 우수함을 보여준다. Qwen2.5-1.5B에서 고도로 충돌하는 4과제 설정에서는 우리 방법이 가장 강한 기준선 대비 추가로 2.78% 향상을 달성한다.
원문 초록
Model merging provides an efficient way to construct multi-task generalist models without additional training, but its performance often degrades under severe task interference. Task interference in model merging primarily stems from \textit{superposition}, where task-specific features become entangled within the parameter space. This entanglement renders conventional decomposition methods insufficient for effectively isolating useful task directions from interfering components. In this paper, we propose a sparse-representation-based merging framework that uses Sparse Autoencoders (SAEs) to project task vectors into a high-dimensional sparse feature space, enabling feature-level disentanglement before fusion. To reduce computational overhead, we further introduce a lightweight Group-Ranked Zeroth-Order Optimizer (GR-ZOO) to identify task-critical layers for selective merging. Experiments on both Qwen2.5-1.5B and Qwen2.5-7B demonstrate that our method consistently outperforms representative baselines, including Task Arithmetic, TIES-Merge, DARE, Fisher-Merge,and several recent training-free merging methods, across mathematical reasoning, code generation, instruction following, and general knowledge tasks. In a highly conflicting four-task setting on Qwen2.5-1.5B, our method further achieves a 2.78\% improvement over the strongest baseline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.25354v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.