arXiv:2610.10690v1 cs.LG

공간 신경 컴퓨팅을 통한 순환 아키텍처에서의 무한 컨텍스트 윈도우 학습

Learning infinite context windows in recurrent architectures via spatial neural computing

Aleix Salvador-Pomarol, Arthur N. Montanari, Earl K. Miller, Adilson E. Motter, Jorge Cortés

제출 2026-10-07

저자 비고

arXiv Comments

12 pages, 4 figures

한국어 초록

순환 신경망(RNN)은 시퀀스 길이에 따라 선형적인 시간 스케일링을 제공하고 일정한 메모리만을 필요로 하지만, 기울기 소실(vanishing gradients)과 제한된 수용 영역(receptive field)으로 인해 장기 의존성(long-range dependencies)을 포착하는 데 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 표준적인 뉴런 간 통신을 (이산화된) 편미분 방정식으로 지배되는 공간적 진화 필드로 대체한 2차 순환 모델을 소개합니다. 뇌 연산에서 대뇌 피질파의 역할에서 영감을 얻은 이 메커니즘은 구조화된 시공간 패턴이 암묵적인 고용량 메모리 역할을 하도록 합니다. 우리는 그 결과 도출된 모델이 현재 상태가 과거 상태의 전체 이력에 명시적으로 의존하는 구조화된 무한 차수 RNN과 동등함을 보이며, 고정된 수의 파라미터로도 사실상 무제한의 수용 영역을 제공함을 입증합니다. 나아가 우리는 한계 안정성(marginal stability)을 보장하는 구성적 조건을 도출하여 그래디언트 스펙트럼을 단위원(unit circle) 상에 제약함으로써 그래디언트 소실 및 폭발 문제를 제거합니다. 실증적으로, 제안된 아키텍처는 훨씬 적은 파라미터를 사용하면서도 장기 시계열 벤치마크에서 다른 순환 모델들을 능가하며, 공간 역학이 효율적인 추론과 장기 기억 사이의 간극을 효과적으로 메울 수 있음을 보여줍니다.

원문 초록

Recurrent neural networks (RNNs) offer linear-time scaling with sequence length while requiring only constant memory, yet they struggle to capture long-range dependencies due to vanishing gradients and limited receptive fields. To address these limitations, we introduce a second-order recurrent model in which the standard neuron-to-neuron communication is replaced by a spatially evolving field governed by (discretized) partial differential equations. Drawing inspiration from the role of cortical waves in brain computation, this mechanism allows structured spatiotemporal patterns to serve as an implicit, high-capacity memory. We show that the resulting model is equivalent to a structured infinite-order RNN in which the current state depends explicitly on its entire history of past states, yielding an effectively unbounded receptive field with a fixed number of parameters. We further derive constructive conditions to ensure marginal stability, constraining the gradient spectrum on the unit circle and thereby eliminating vanishing and exploding gradients. Empirically, the proposed architecture outperforms other recurrent models on long-horizon benchmarks while using substantially fewer parameters, demonstrating that spatial dynamics can effectively bridge the gap between efficient inference and long-term memory.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10690v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.23467v3cs.LG공통 태그 recurrent neural networks공식 코드 · Papers with Code

쿠프만 기반 순환 신경망

Koopman-informed recurrent neural networks

순환 신경망(recurrent neural network)은 시계열 분석, 예측, 동역학 시스템 모델링을 포함한 다양한 시간 의존적 문제에서 성공적인 신경망 아키텍처입니다. 동역학 시스템의 맥락에서, 시간에 따른 역전파(backpropagation through time)를 이용한 학습은 그래디언트 폭발 또는 소실로 인한 어려움을 초래할 수 있습니다. 본 연구에서는 그래디언트 기반 방법을 사용하지 않고 순환 신경망의 모든 가중치와 편향을 구성하는 계산적 접근법인 쿠프만 기반 순환 신경망(Koopman-informed recurrent neural networks)을 소개합니다. 이 접근법은 랜덤 특징 네트워크(random feature networks)와 동역학 시스템을 위한 쿠프만 연산자 이론(Koopman operator theory)의 조합에 기반합니다. 단일 순환 블록의 은닉 매개변수는 무작위로 샘플링되며, 외부 가중치는 확장 동적 모드 분해(extended dynamic mode decomposition)를 사용하여 구성됩니다. 이 접근법은 순환 네트워크와 관련하여 역전파에서 흔히 발생하는 일부 문제를 완화합니다. 쿠프만 연산자 이론과의 연결은 이 분야의 결과를 순환 신경망 분석에 활용할 수 있는 가능성도 제공합니다. 시계열, 혼돈 동역학 시스템 예측, 제어 문제, 실세계 데이터에 대한 계산 실험에서, 비교 가능한 예측 정확도를 유지하면서 쿠프만 기반 순환 신경망의 학습 시간이 일반적으로 사용되는 그래디언트 기반 방법으로 학습된 모델에 비해 크게 향상됨을 확인하였습니다.

arXiv:2605.18387v2cs.LG공통 태그 long-range dependencies

장거리 일반화를 위한 그래프 계층적 순환

Graph Hierarchical Recurrence for Long-Range Generalization

그래프 신경망(GNN)과 그래프 트랜스포머는 표현력 있는 표현 학습(representation learning)과 표본 효율적인 귀납적 편향(inductive bias)을 결합하여 그래프 학습의 핵심 축으로 자리 잡았습니다. 그러나 예측이 멀리 떨어진 그래프 영역 간의 상관관계에 의존하는 경우 근본적인 한계가 여전히 존재합니다. 본 연구에서는 입력 그래프와 풀링된 계층적 추상화를 공동으로 다루는 새로운 프레임워크인 Graph Hierarchical Recurrence(GHR)를 통해 이러한 한계를 해결합니다. 또한 기존 모델들이 테스트 인스턴스에서 학습(training) 중에 관찰된 거리를 초과하는 상호작용을 요구하는 범위 외 일반화(out-of-range generalization) 조건에서 더욱 급격히 성능이 저하됨을 보입니다. 최소한의 설계에도 불구하고, GHR은 테스트된 모든 메시지 패싱 백본의 성능을 일관되게 강화하여 장거리 의존성에서 견고한 성능을 보이고, 특히 범위 외 영역에서 두드러진 개선을 달성합니다. 광범위한 장거리 벤치마크 전반에 걸쳐, GHR은 여러 태스크에서 최고 수준(SOTA) 또는 이에 준하는 결과를 달성하며, 관찰된 상호작용 범위를 넘어 그래프 모델을 확장하는 효과적인 메커니즘으로 계층적 순환을 확립합니다.

arXiv:2510.21742v4q-bio.NC공통 태그 recurrent neural networks

비선형 순환 신경망에서의 상관 통계

Statistics of correlations in nonlinear recurrent neural networks

상관 통계는 순환 신경망의 집합적 역학을 특성화하는 핵심 물리량이다. 우리는 가우시안 quenched 무질서(disorder) 체제에서 뉴런 수 N이 큰 극한에 대해 체계적인 1/N 보정을 포함한 비선형 순환 네트워크의 상관 통계에 대한 정확한 표현식을 유도한다. 우리의 접근법은 네트워크 확률적 역학의 경로 적분(path-integral) 표현을 사용하여 기술을 소수의 집합적 변수로 축소하고 효율적인 계산을 가능하게 한다. 이는 선형 네트워크에 대한 기존 결과를 일반화하여 경로 적분에서 상호작용 항으로 등장하는 광범위한 비선형 활성화 함수 계열을 포함한다. 이러한 상호작용은 선형 이론의 불안정성을 해소하고 엄격하게 양수인 참여 차원(participation dimension)을 산출할 수 있다. 우리는 거듭제곱 법칙(power-law) 활성화에 대한 명시적 결과를 제시하며, 네트워크 결합에 의해 제어되는 스케일링 거동을 밝힌다. 또한 파데 근사(Padé approximants)에 기반한 활성화 함수 계열을 도입하고 그 상관 통계에 대한 해석적 예측을 제공한다. 수치 시뮬레이션은 이론적 결과와 탁월한 일치도를 보이며 이를 확인한다. 아울러 annealed 무질서의 상보적 경우를 연구한 기존 연구들과 비교하고, 이를 바탕으로 유색 잡음(colored noise)의 더 일반적인 경우에 대한 새로운 자기 일관 방정식(self-consistent equation)을 제안한다.

arXiv:2606.29519v2cs.LG공통 태그 recurrent neural networks

순환 신경망에서의 반붕괴 동역학과 다중 시간 스케일 학습의 창발

Anti-Collapse Dynamics and the Emergence of Multi-Time-Scale Learning in Recurrent Neural Networks

확률적 경사하강법으로 학습된 순환 신경망에서 장거리 학습은 어렵다. 과거 입력의 영향이 시차 ℓ에 따라 감소하는데, 감소가 너무 빠르면 유한한 데이터에서 그 의존성을 학습할 수 없기 때문이다. 이 감소는 포락선 f(ℓ)으로 표현된다. 지수적 감소의 경우 시차 ℓ 의존성을 학습하는 데 필요한 데이터가 지수적으로 증가하여 장기 의존성 학습이 불가능해지는 반면, 거듭제곱 법칙 감소는 비용을 다항식 수준으로 유지한다. 우리는 f(ℓ)의 점근적 감쇠 유형이 아키텍처에 의해 고정되지 않음을 보인다. 대신, 이는 상태 동역학과 매개변수 동역학 간의 결합에서 창발하여, 붕괴 구간(빠른 지수적 망각) 또는 확장된 반붕괴 구간(느린 거듭제곱 법칙 망각) 중 하나로 수렴한다. 직관적으로 이는 결합 동역학 내의 경쟁으로 이해할 수 있다. 학습은 신경망의 유효 시간 스케일을 짧은 방향으로 유도하는 반면, 학습 동역학의 희귀한 헤비테일(heavy-tailed) 변동은 그 중 일부를 매우 긴 값으로 밀어낸다. 확장된 구간은 이러한 헤비테일 추진력이 수축하려는 힘을 균형 있게 상쇄할 만큼 강할 때에만 유지된다. 우리는 거친 입자 확률 과정을 통해 이를 수학적으로 정밀화하고, 확장된 구간이 존재하는 정확한 조건을 증명한다. 단일 지수인 스펙트럼 지수 β가 시간 스케일의 분포와 신경망이 얼마나 천천히 망각하는지를 모두 지배한다. 이 구간을 실제로 구현하려면 한 가지 요소가 더 필요하다. 아키텍처와 옵티마이저의 결합 작용이 그러한 광범위한 분포를 유지할 수 있어야 한다. 광범위한 시간 스케일 스펙트럼을 생성하는 능력이 심각하게 제한된 신경망은 강한 헤비테일 강제력이 주어지더라도 여전히 붕괴한다. 따라서 헤비테일 변동은 억제되어야 할 잡음이 아니라, 장거리 학습을 유지시키는 메커니즘으로 작용한다.

arXiv:2606.20325v1cs.LG공통 태그 recurrent neural networks

순환 신경망은 연속 함수를 근사한다

Recurrent neural networks approximate continuous functions

고전적인 근사 정리들은 목표 정확도가 향상될 때마다 새로운 신경망을 요구합니다. 본 논문은 그 반대 가능성을 연구합니다: 신경망을 한 번 선택해두고, 더 오래 실행함으로써만 정확도를 얻을 수 있는가? 우리는 [-1,1] 상의 모든 연속 함수에 대해 이것이 가능함을 증명합니다. 더 정확히 말하면, 각 함수는 고정된 가중치와 고정된 은닉 차원을 가진 단일 렐루(ReLU) 순환 신경망의 시간 진화에 의해 균일하게 근사됩니다. 이 구성의 배경에 있는 메커니즘은 신경 유닛을 갖춘 튜링 머신(Turing machine with neural units, TMNU)이라는 새로운 중간 모델입니다. 이 모델은 다항식 근사 방식을 구현하는 데 필요한 알고리즘적 자유를 유지하면서도, 은닉 차원과 가중치 크기에 대한 명시적인 상한을 가진 순환 신경망에 의해 시뮬레이션될 수 있을 만큼 충분히 엄격합니다. 그 결과로 나오는 수렴 속도는 기저의 다항식 근사 속도를 반영합니다. 우리는 이 구성을 미니맥스 하한(minimax lower bounds)으로 보완하며, 이는 런타임이 단순한 증명의 산물이 아니라 고정된 신경망 근사 패러다임에서 피할 수 없는 자원임을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.