공간 신경 컴퓨팅을 통한 순환 아키텍처에서의 무한 컨텍스트 윈도우 학습
Learning infinite context windows in recurrent architectures via spatial neural computing
순환 신경망(RNN)은 시퀀스 길이에 따라 선형적인 시간 스케일링을 제공하고 일정한 메모리만을 필요로 하지만, 기울기 소실(vanishing gradients)과 제한된 수용 영역(receptive field)으로 인해 장기 의존성(long-range dependencies)을 포착하는 데 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 표준적인 뉴런 간 통신을 (이산화된) 편미분 방정식으로 지배되는 공간적 진화 필드로 대체한 2차 순환 모델을 소개합니다. 뇌 연산에서 대뇌 피질파의 역할에서 영감을 얻은 이 메커니즘은 구조화된 시공간 패턴이 암묵적인 고용량 메모리 역할을 하도록 합니다. 우리는 그 결과 도출된 모델이 현재 상태가 과거 상태의 전체 이력에 명시적으로 의존하는 구조화된 무한 차수 RNN과 동등함을 보이며, 고정된 수의 파라미터로도 사실상 무제한의 수용 영역을 제공함을 입증합니다. 나아가 우리는 한계 안정성(marginal stability)을 보장하는 구성적 조건을 도출하여 그래디언트 스펙트럼을 단위원(unit circle) 상에 제약함으로써 그래디언트 소실 및 폭발 문제를 제거합니다. 실증적으로, 제안된 아키텍처는 훨씬 적은 파라미터를 사용하면서도 장기 시계열 벤치마크에서 다른 순환 모델들을 능가하며, 공간 역학이 효율적인 추론과 장기 기억 사이의 간극을 효과적으로 메울 수 있음을 보여줍니다.