RAM-Net: 희소 주소 지정 가능 상태를 활용한 선형 시간 시퀀스 모델링
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
선형 어텐션(linear attention)은 고정된 크기의 순환 상태(recurrent state)를 통해 완전한 어텐션(full attention)에 대한 효율적인 대안을 제공합니다. 그러나 이 상태가 모든 토큰에 의해 공유되기 때문에 서로 다른 토큰의 정보가 상태 내에서 중첩(superposed)되어 토큰 간 간섭을 유발하고, 이는 장거리의 세밀한 재현율(recall)을 저하시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 공유 상태에 대한 조밀한(dense) 접근을 희소 주소 기반 접근으로 대체하는 RAM-Net을 제안합니다. RAM-Net은 순환 상태를 독립적인 슬롯들의 고정 크기 배열로 구성하며, 각 키(key) 또는 쿼리(query)를 희소 주소에 매핑하는 주소 디코더(Address Decoder)를 사용하여 각 스텝에서 쓰거나 읽을 슬롯의 작은 하위 집합을 선택합니다. 이러한 설계는 주소가 겹치지 않는 토큰들을 서로 다른 슬롯으로 유도하여 토큰 간 간섭을 억제하면서도, 스텝당 상태 접근이 전체 상태 크기가 아닌 선택된 슬롯의 수에만 의존하도록 유지합니다. 실험적으로 RAM-Net은 세밀한 장거리 검색에서 강력한 순환 베이스라인들을 능가하며, 경쟁력 있는 상식 추론 능력과 함께 가장 낮은 퍼플렉서티(perplexity)를 달성합니다. 또한 모든 베이스라인보다 스텝당 더 적은 상태 요소에 접근하면서도 이러한 결과를 달성하며, 예를 들어 Mamba2 대비 $8\times$ 적은 요소에 접근합니다.