생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
순환 신경망 언어 모델은 어떤 형식 언어를 인식할 수 있는가? 문헌의 형식적 결과들은 상충된다: 일부 저자는 튜링 완전성을 보고하는 반면, 다른 저자들은 정규 언어와의 동등성을 보여준다. 이러한 불일치의 이유는 기저 산술 모델이 다르기 때문이다. 본 논문은 다양한 산술 모델에 대한 형식적 설명에서 시작하여, 순환 신경망의 표현력에 대한 통합된 대수적 설명을 제시한다. 이 설명은 표현력을 대수적 질문, 예를 들어 네트워크의 구문 모노이드(syntactic monoid)가 특정 wreath product를 나누는지 여부로 환원한다. 사례 연구로, 본 논문은 대각 상태 공간 모델을 다시 살펴본다: 동일한 아키텍처는 부동소수점 순환이 강제되면 짝수 계수 카운터를 구현할 수 없지만, 부호 없는 정수 양자화 하에서는 모든 짝수 계수 카운터를 구현한다.
순환 신경망(RNN) 학습은 긴 연산 시퀀스에 걸쳐 credit을 할당해야 한다. 표준 시간 역전파(BPTT)는 이 문제를 잘 해결하지 못한다. 시간적으로 순차적이어서 병렬성을 제한하고, 소실 또는 폭발 그래디언트에 시달려 장거리 연관을 학습하기 어렵다. 우리는 지도 기억 학습(Supervised Memory Training, SMT)을 제안한다. 이는 RNN 학습을 일(step) 기억 전이 레이블 $(m_t, x_{t+1}) \rightarrow m_{t+1}$에 대한 지도 학습으로 환원함으로써 순환 credit 전파를 완전히 우회하는 비선형 RNN 학습 방법이다. SMT는 예측 상태 목적(predictive state objective)으로 트랜스포머 기반 인코더를 학습하여 이러한 기억 레이블을 획득한다—미래를 예측하는 데 필요한 과거 정보만을 유지한다. 무엇을 기억할지와 기억을 어떻게 갱신할지를 분리함으로써, SMT는 RNN을 전개(unroll)하지 않고도 임의의 두 토큰 사이에 안정적인 $O(1)$ 길이의 그래디언트 경로를 갖는 시간 병렬 RNN 학습을 가능하게 한다. 언어 모델링 및 픽셀 시퀀스 모델링과 같은 과제에서 다양한 RNN 아키텍처를 사전학습할 때 SMT가 BPTT보다 우수한 성능을 보임을 확인했다. SMT는 비선형 RNN이 장거리 의존성을 더 잘 포착하고 병렬로 학습할 수 있게 하며, 과거 경험의 시간적 추상화를 구축하는 모델의 스케일링을 잠재적으로 가능하게 한다.
순환 신경망(RNN)의 은닉 상태를 정적 스냅샷이 아닌 궤적으로 취급하여, 관측된 소스-후계 쌍 $(X_t, X_{t+\Delta})$으로부터 유한-시차(finite-lag) 연산자 기하학을 개발한다. 조건부 수송 법칙 $Q_\Delta$에서 도출한 소스 중심 수송 텐서 $G_\Delta$와 좌표 순환 $\mathcal{W}_\Delta^\rho$를 통해, 무한소 carré-du-champ 기하학으로는 포착되지 않는 결정론적 순환 운동을 검출할 수 있음을 이론적으로 증명하고 반복 복사(repeat-copy) 네트워크 실험으로 검증한다.
SSM과 LRU 같은 선형 순환 신경망은 장시퀀스 모델링에서 강하지만 초기화·정규화가 복잡한 한계가 있어, 회전 행렬(rotation matrix)로 순환 상태를 매개변수화한 RotRNN을 제안한다. 이 모델은 단순하고 효율적이며 학습 내내 이론과 구현이 일치하는 안정적 정규화(normalization)를 제공하고, 여러 장시퀀스 모델링 데이터셋에서 최신 선형 순환 모델과 경쟁력 있는 성능을 달성한다.