PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.21742v4q-bio.NC

비선형 순환 신경망에서의 상관 통계

Statistics of correlations in nonlinear recurrent neural networks

상관 통계는 순환 신경망의 집합적 역학을 특성화하는 핵심 물리량이다. 우리는 가우시안 quenched 무질서(disorder) 체제에서 뉴런 수 N이 큰 극한에 대해 체계적인 1/N 보정을 포함한 비선형 순환 네트워크의 상관 통계에 대한 정확한 표현식을 유도한다. 우리의 접근법은 네트워크 확률적 역학의 경로 적분(path-integral) 표현을 사용하여 기술을 소수의 집합적 변수로 축소하고 효율적인 계산을 가능하게 한다. 이는 선형 네트워크에 대한 기존 결과를 일반화하여 경로 적분에서 상호작용 항으로 등장하는 광범위한 비선형 활성화 함수 계열을 포함한다. 이러한 상호작용은 선형 이론의 불안정성을 해소하고 엄격하게 양수인 참여 차원(participation dimension)을 산출할 수 있다. 우리는 거듭제곱 법칙(power-law) 활성화에 대한 명시적 결과를 제시하며, 네트워크 결합에 의해 제어되는 스케일링 거동을 밝힌다. 또한 파데 근사(Padé approximants)에 기반한 활성화 함수 계열을 도입하고 그 상관 통계에 대한 해석적 예측을 제공한다. 수치 시뮬레이션은 이론적 결과와 탁월한 일치도를 보이며 이를 확인한다. 아울러 annealed 무질서의 상보적 경우를 연구한 기존 연구들과 비교하고, 이를 바탕으로 유색 잡음(colored noise)의 더 일반적인 경우에 대한 새로운 자기 일관 방정식(self-consistent equation)을 제안한다.

arXiv:2607.22047v1cond-mat.dis-nn

무질서 신경 모델에서 안정 attractor의 다중성

Multiplicity of Stable Attractors in Disordered Neural Models

대편차 통계(large-deviation statistics)를 통해 계산 작업에 이전에 사용된 신경 상미분방정식(neural ODE) 모델에서 안정 고정점(stable fixed point)의 다중성에 대한 신뢰할 수 있는 추정치를 얻을 수 있음을 보인다. 이 결과는 무질서(disorder) 진폭에 대한 적절한 섭동법을 개발함으로써 얻어진다. 결합 강도가 지나치게 크지 않은 경우, 동역학이 순수 그래디언트 진화인 대칭 경우와 원칙적으로 극한 주기(limit cycle)와 카오스(chaos)가 발생할 수 있는 비대칭 경우 사이에는 질적인 차이가 없음이 밝혀진다. 이 특정 모델의 선택은 교육적 이유에 의해 이루어졌으나, 우리는 이 접근법이 서로 다른 종류의 무작위 결합 행렬(random coupling matrix)로 특징지어지는 다른 다자유도 동역학 모델로 확장될 수 있다고 확신한다.

arXiv:2606.21295v5cs.LG

위상적 신경 동역학: 시퀀스 모델링을 위한 뉴런 단위 프레임워크

Topological Neural Dynamics: A Neuron-wise Framework for Sequence Modeling

층 단위(layer-wise) 동역학의 한계를 극복하고자, TND(Topological Neural Dynamics)는 각 뉴런이 방향성 그래프 위상을 통해 독립적으로 진화하는 뉴런 단위(neuron-wise) 시퀀스 모델링 프레임워크를 제안한다. 1인용 Pong 행동 복제 태스크에서 TND는 라운드당 평균 17.47회의 연속 캐치를 달성하며, 가장 강력한 기준선인 CfC(6.14회) 대비 세 배 이상의 성능을 기록했다.

arXiv:2606.11251v1cs.LG

Mechanical Field Networks: 다변량 시스템을 위한 구조화된 신경망 역학

Mechanical Field Networks: Structured Neural Dynamics for Multivariate Systems

많은 다변량 역학 시스템(dynamical systems)은 궤적(trajectories)을 통해서만 관측되며, 이로 인해 결합 역학(joint dynamics)을 지배하는 메커니즘은 숨겨져 있습니다. 기존 접근법은 해석 가능한 역학을 부과하거나 유연한 상태 전이를 학습할 수 있지만, 그 결과로 나타나는 상호작용 구조는 일반적으로 미리 지정되거나 학습된 역학 내에 암묵적으로 남겨집니다. 우리는 모든 변수를 공유 필드 상태(shared field state)로 표현하고 학습된 관계 법칙(relation law)을 통해 이 상태를 업데이트하는 순환 역학 모델(recurrent dynamical model)인 MF-Net을 소개합니다. 각 변수는 필드 성분(field component)을 가지며, 이 성분들은 학습 가능한 역학적 전이(mechanical transition)를 통해 공동으로 진화합니다. 여기서 역학적(mechanical)이라는 용어는 전이의 관계-운동(relation-to-motion) 조직을 의미하며, 학습된 관계는 필드 상태를 앞으로 이동시키는 상태 의존적 흐름(state-dependent flows), 필드 응답(field responses), 운동 경향성(motion tendencies)을 형성합니다. 결과적인 구조는 롤아웃(rollout) 자체의 일부입니다: 학습된 관계는 필드가 이동하는 방식에 영향을 미치며, 동일한 내부 양이 예측(forecasting)과 구조적 리드아웃(structural readout)을 모두 지원합니다. 법칙이 알려진 상호작용 시스템, 혼돈 벤치마크(chaotic benchmarks), 실제 신경 기록, 생태학적 시계열에 걸쳐, MF-Net은 검사 가능한 구조적 리드아웃을 유지하면서 경쟁력 있는 단기 및 중기 예측 성능을 달성합니다. 40차원 Lorenz-96 테스트베드에서 MF-Net은 8단계 $R^2$ 점수 $0.798\pm0.018$을 달성했습니다. 5개의 시드(seed)에 걸쳐, 학습된 관계 행렬은 국소/비국소 강도 비율이 $19.80\pm1.00$이고 정밀도@K(Precision@$K$)가 $1.000\pm0.000$인 국소 결합 지지(local coupling support)를 복원했습니다. MF-Net은 학습된 관계가 순방향 진화(forward evolution)를 통해 훈련되며, 실제 데이터에서는 적절한 관측 한계 하에서 기능적 예측 결합(functional predictive couplings)으로 해석되는 구조 가독형(structure-readable) 역학 모델링 프레임워크를 제공합니다.