Prism Transformer: 계층적 어텐션 처리를 위한 점진적 헤드 스케줄
Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing
다중 헤드 어텐션(multi-head attention)은 통상적으로 모든 층에서 모든 헤드에 히든 차원을 균등하게 분할하여, 모델 깊이 전반에 걸쳐 동일한 표현 부분공간 차원(dh = dmodel/h)을 강제한다. 본 연구에서는 이러한 균등 할당이 근본적인 구조적 병목이라는 점을 밝힌다: 제한된 차원 공간으로 인해 초기 층의 헤드는 복잡하고 고차원적인 문맥 패턴을 충실히 포착하지 못한다. 이를 해결하기 위해, 정적이고 균등한 헤드 구성을 점진적 헤드 스케줄로 대체하는 새로운 아키텍처 패러다임인 Prism Transformer를 제안한다. 층을 따라 헤드 수를 단조 증가시킴으로써, Prism Transformer는 자연스럽게 국소-전역 표현 계층을 형성한다: 초기 층은 더 적지만 매우 넓은 헤드로 복잡한 국소 구성(compositional) 패턴을 포착하고, 깊은 층은 많은 좁은 헤드를 배치하여 이러한 패턴을 특화된 언어적 특징으로 분해한다. 핵심적으로, 이러한 구조적 전환은 매개변수 중립적(parameter-neutral)이며 계산 중립적(compute-neutral)이고, 학습 또는 추론 오버헤드를 전혀 추가하지 않으며, 표준 트랜스포머와 동일한 가중치 행렬 및 FLOP 예산을 유지한다. 세 가지 모델 규모(124M, 354M, 757M)에 걸쳐 Prism Transformer는 균등 할당 기준선을 일관되게 능가하며, 검증 손실의 일관된 감소와 함께 다운스트림 제로샷(zero-shot) 벤치마크(PIQA, HellaSwag, ARC-Easy, WinoGrande 포함)에서 일관된 성능 향상을 달성한다. 우리의 발견은 비균등 부분공간 할당이 표준 트랜스포머 예산 내 잠재 용량을 해방하여 모델 용량의 더 효과적인 사용을 가능하게 함을 보여준다.