PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10690v1cs.LG

공간 신경 컴퓨팅을 통한 순환 아키텍처에서의 무한 컨텍스트 윈도우 학습

Learning infinite context windows in recurrent architectures via spatial neural computing

순환 신경망(RNN)은 시퀀스 길이에 따라 선형적인 시간 스케일링을 제공하고 일정한 메모리만을 필요로 하지만, 기울기 소실(vanishing gradients)과 제한된 수용 영역(receptive field)으로 인해 장기 의존성(long-range dependencies)을 포착하는 데 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 표준적인 뉴런 간 통신을 (이산화된) 편미분 방정식으로 지배되는 공간적 진화 필드로 대체한 2차 순환 모델을 소개합니다. 뇌 연산에서 대뇌 피질파의 역할에서 영감을 얻은 이 메커니즘은 구조화된 시공간 패턴이 암묵적인 고용량 메모리 역할을 하도록 합니다. 우리는 그 결과 도출된 모델이 현재 상태가 과거 상태의 전체 이력에 명시적으로 의존하는 구조화된 무한 차수 RNN과 동등함을 보이며, 고정된 수의 파라미터로도 사실상 무제한의 수용 영역을 제공함을 입증합니다. 나아가 우리는 한계 안정성(marginal stability)을 보장하는 구성적 조건을 도출하여 그래디언트 스펙트럼을 단위원(unit circle) 상에 제약함으로써 그래디언트 소실 및 폭발 문제를 제거합니다. 실증적으로, 제안된 아키텍처는 훨씬 적은 파라미터를 사용하면서도 장기 시계열 벤치마크에서 다른 순환 모델들을 능가하며, 공간 역학이 효율적인 추론과 장기 기억 사이의 간극을 효과적으로 메울 수 있음을 보여줍니다.

arXiv:2605.18387v2cs.LG

장거리 일반화를 위한 그래프 계층적 순환

Graph Hierarchical Recurrence for Long-Range Generalization

그래프 신경망(GNN)과 그래프 트랜스포머는 표현력 있는 표현 학습(representation learning)과 표본 효율적인 귀납적 편향(inductive bias)을 결합하여 그래프 학습의 핵심 축으로 자리 잡았습니다. 그러나 예측이 멀리 떨어진 그래프 영역 간의 상관관계에 의존하는 경우 근본적인 한계가 여전히 존재합니다. 본 연구에서는 입력 그래프와 풀링된 계층적 추상화를 공동으로 다루는 새로운 프레임워크인 Graph Hierarchical Recurrence(GHR)를 통해 이러한 한계를 해결합니다. 또한 기존 모델들이 테스트 인스턴스에서 학습(training) 중에 관찰된 거리를 초과하는 상호작용을 요구하는 범위 외 일반화(out-of-range generalization) 조건에서 더욱 급격히 성능이 저하됨을 보입니다. 최소한의 설계에도 불구하고, GHR은 테스트된 모든 메시지 패싱 백본의 성능을 일관되게 강화하여 장거리 의존성에서 견고한 성능을 보이고, 특히 범위 외 영역에서 두드러진 개선을 달성합니다. 광범위한 장거리 벤치마크 전반에 걸쳐, GHR은 여러 태스크에서 최고 수준(SOTA) 또는 이에 준하는 결과를 달성하며, 관찰된 상호작용 범위를 넘어 그래프 모델을 확장하는 효과적인 메커니즘으로 계층적 순환을 확립합니다.