Transformer를 이용한 언어 모델링은 고정된 계산 깊이와 입력 토큰 수에 대한 이차 시간 복잡도에도 불구하고 널리 쓰이게 되었다. 반면 순환 모델은 선형 깊이를 제공하지만 병렬 실행은 불가능하다. 본 연구에서는 균형 트리(balanced-tree) 재귀 연산자를 시퀀스 인코딩에서 자기회귀(autoregressive) 예측으로 확장하여, 모든 접두 문맥 표현을 대수 깊이와 선형 실행 시간으로 계산할 수 있게 한다. 실험을 통해 이 모델 클래스에 대한 초기 특성 분석을 제공하며, 견고한 길이 외삽(length extrapolation)과 ALiBi 기반 Transformer에 근접한 성능을 보여, 언어 모델링을 위한 대안 아키텍처로서의 잠재력을 부각한다.
현대 대규모 언어 모델(LLM)을 긴 컨텍스트로 확장하는 것은 밀집 어텐션(dense attention)의 이차적 연산 비용과 길이 외삽 성능 저하로 인해 제한된다. 청크 단위 희소 어텐션(chunk-wise sparse attention)은 유망한 대안이지만, 기존의 모든 방법은 부정확한 청크 선택으로 인해 풀 어텐션(full attention)에 미치지 못한다. 우리는 언어 모델링(LM) 손실 하에서 청크 선택을 엔드-투-엔드로 학습하는 청크 단위 희소 어텐션 메커니즘인 계층적 랜드마크 희소(HiLS) 어텐션을 제안한다. HiLS는 어텐션을 계층적으로 분해한다: 각 쿼리는 검색된 각 청크와 독립적으로 어텐션을 수행하여 청크별 정보를 추출하고, 그 결과 출력은 청크 검색 점수에 따라 융합된다. HiLS는 검색 점수를 순전파 어텐션 연산에 통합함으로써 LM 손실로 이를 직접 최적화하여, 엔드-투-엔드 검색 학습과 네이티브 희소 학습을 가능하게 한다. 실험 결과, HiLS-Attention은 인-도메인 컨텍스트 길이에서 풀 어텐션과 동등하거나 일부 경우 더 나은 성능을 달성한다. 동시에 HiLS-Attention은 90% 검색 정확도로 학습 컨텍스트 길이의 $64\times$를 초과하는 외삽을 수행하며, 이는 풀 어텐션을 크게 뛰어넘는 수준이다. 또한 기존의 풀 어텐션 모델은 경량 지속 사전학습을 통해 HiLS-Attention으로 변환될 수 있으며, 인-도메인 성능을 유지하면서 초장문 컨텍스트 외삽 능력을 획득한다. 희소 KV 접근 및 연산과 결합하여, HiLS-Attention은 일반적인 효율-성능 트레이드오프를 극복하고, 일반적인 장문 컨텍스트 작업에서 풀 어텐션 대응 모델보다 더 효율적이면서도 더 효과적인 장문 컨텍스트 LLM을 가능하게 한다.
우리는 각 쿼리가 밀집 로컬 윈도우와 피보나치 간격 오프셋 집합에 함께 어텐션을 적용하며, 층별 스칼라 alpha가 간격을 압축하거나 확장하는 희소 셀프 어텐션을 연구한다. 하나의 통일된 학습 레시피(6,000만 파라미터, 은닉 차원 512, 16층, 4억 2,600만 토큰)로 학습된 21개 언어 모델에 걸쳐, 깊이별로 alpha를 설정하는 네 가지 방식을 비교한다: 고정, 층별 학습, 정적 선형 엇갈림, 그리고 해당 엇갈림의 서로소(반격자) 재배정—도달 범위 맞춤 2의 거듭제곱 기준선과 함께.
세 가지 결과가 두드러진다. 첫째, 정적 층별 엇갈림은 고정 및 학습된 alpha 대비 퍼플렉시티를 개선하며, 이 이득은 베이스에 무관하다: 동일한 엇갈림을 2의 거듭제곱 베이스에 적용하면 고정 피보나치를 능가하고 학습된 피보나치 어텐션과 동등한 수준에 도달한다. 둘째, 층별 학습은 효과가 없다: 정적 스케줄을 능가하지 못하면서 추론 지연 시간을 약 5배 증가시킨다. 셋째이자 가장 중요한 결과로, 모든 희소 변형은 학습 길이의 4배까지 거의 또는 전혀 성능 저하 없이 외삽하는 반면, 동일 레시피로 학습된 밀집 기준선은 붕괴한다(4배 길이에서 퍼플렉시티 201% 상승); 이는 고정 오프셋 어텐션이 학습 중에 본 상대적 위치만 쿼리하기 때문으로 본다.
또한 두 가지 솔직한 부정적 결과도 보고한다: 학습 길이에서 최고의 희소 모델은 밀집 기준선 대비 퍼플렉시티가 약 26% 높으며, 엇갈림 이득은 장거리에 집중되지 않고 컨텍스트 위치 전반에 걸쳐 균일하다.
PaTH Attention의 Householder 반사보다 단순한 RoPE식 SO(2) 누적 회전에서도 길이 외삽(extrapolation) 후 극장 컨텍스트에서의 성능 저하가 반복되며, 누적 직교 변환 곱이 유한 단계 뒤 비일관화되어 먼 토큰 attention을 억제하는 일반 메커니즘임을 이론적으로 설명한다. 명시적 far-mass 제어 없이는 아무 회전 선택도 무한 길이에서 근거리 신호를 보장할 수 없다는 하한을 제시하고, value 회전과 ALiBi 대조 실험으로 예측을 뒷받침한다.