한국어 초록
하이브리드 어텐션 모델은 전체 어텐션과 선형 어텐션을 결합하여 더 나은 품질-효율 절충을 달성한다. 사전학습된 Transformer를 이러한 모델로 변환하려면, 주어진 예산 하에서 어떤 레이어가 전체 어텐션을 유지해야 하는지 식별해야 한다. 우리는 FlashMorph의 레이어 선택에서 두 가지 오프폴리시 불일치를 규명한다. (i) 연속적인 분기 보간과 교사 강제(teacher-forced) 은닉 상태는 이산적인 하이브리드 연산과 다르다. (ii) 고정된 모델 가중치는 이후 복구 과정에서의 파라미터 적응을 반영하지 못한다. 우리는 온폴리시 레이어 선택 방법인 FlashMorph2를 제안하며, 이 방법은 (I) 샘플링된 이산 하이브리드 아키텍처를 자체 은닉 상태를 사용하여 종단 간으로 평가하고, (II) 적응 이후의 성능을 반영하도록 복구 목적함수 하에서 레이어 선택 점수와 모델 가중치를 함께 최적화한다. Qwen3 모델 규모와 선형 어텐션 변형 전반에 걸친 실험에서 FlashMorph2는 기존 레이어 선택 방법을 일관되게 능가하며, FlashMorph 대비 평균 점수를 RULER에서 $+2.42$점, LongBench에서 $+1.08$점, 회상 집약적 과제에서 $+0.76$점 향상시킨다. 또한 0.6B--8B 모델에서 레이어 선택을 단 $0.72$--$3.57$ GPU 시간 만에 완료하여 높은 효율성과 확장성을 보여 준다.
원문 초록
Hybrid attention models combine full and linear attention to achieve a better quality--efficiency trade-off. Converting pretrained Transformers into such models requires identifying which layers should retain full attention under a prescribed budget. We identify two off-policy mismatches in FlashMorph's layer selection: (i) continuous branch interpolation and teacher-forced hidden states differ from discrete hybrid computation; and (ii) frozen model weights fail to account for parameter adaptation during subsequent recovery. We introduce FlashMorph2, an on-policy layer-selection method that (I) evaluates sampled discrete hybrid architectures end to end using their own hidden states, and (II) jointly optimizes layer-selection scores and model weights under the recovery objective to reflect post-adaptation performance. Experiments across Qwen3 model scales and linear-attention variants show that FlashMorph2 consistently outperforms existing layer-selection methods, improving average scores over FlashMorph by $+2.42$ points on RULER, $+1.08$ on LongBench, and $+0.76$ on recall-intensive tasks, while completing layer selection in only $0.72$--$3.57$ GPU hours across 0.6B--8B models, demonstrating high efficiency and scalability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24809v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.