ResonatorLM: 효율적인 장문맥 언어 모델링을 위한 인과적 공명 필드 혼합
ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modeling
ResonatorLM은 트랜스포머의 셀프 어텐션을 물리학에서 착안한 감쇠 공명자(damped resonator) 기반의 인과적 공명 필드 믹싱으로 대체하는 새로운 언어 모델 아키텍처로, 학습 및 프리필 시에는 O(n log n) FFT 합성곱을, 자기회귀 디코딩 시에는 고정 크기 순환 상태를 사용한다. 6M 파라미터 설정에서 32K 토큰 기준 디코딩 속도 6.47배 향상을 달성하면서 WikiText에서 정확도도 55.32%에서 61.31%로 향상되었다.