PyTorchKR Papers

최신 논문

총 39편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.20112v1nlin.CD

Washout-free synchronization, parameter estimation and uncertainty quantification of echo state networks

Echo state networks (ESNs) forecast chaotic systems for several Lyapunov times. Like all recurrent networks, ESNs require a washout before forecasting, i.e., a phase in which the full state drives the network until the reservoir state synchronizes with the system. At deployment, however, sensors measure only part of the state, with noise and at a lower sampling rate than the training data. We propose a washout-free deployment of ESNs via ensemble data assimilation. In closed loop, the ESN is a Markovian dynamical system; hence, a sequential filter can correct its reservoir state whenever data are available. The filter synchronizes an ensemble of reservoir states, drawn from the training data, with the system, and quantifies the forecast uncertainty. We extend the method to parametric ESNs, to infer physical parameters, and to parallel ESNs with localization, to forecast high-dimensional systems. We test the method on the Lorenz-63 and Lorenz-96 systems. First, the filter synchronizes the ESN with a fraction of the data of a washout. Second, the filter deploys one full-state ESN from a subset of its components, which a washout cannot do. Third, the filter estimates a forcing that is not in the training data, and the estimated forcing lengthens the forecast. Fourth, localization synchronizes a parallel ESN with eight times fewer members than the global filter. Fifth, the ensemble spread signals, without the true state, when the ESN synchronizes and when the filter fails. This work enables the deployment of ESNs from partial, sparse and noisy observations.

arXiv:2509.22482v3cs.LG

Bayesian Transfer Operators in Reproducing Kernel Hilbert Spaces

Transfer operators provide a linear description of nonlinear dynamical systems by propagating observables or probability distributions. In reproducing kernel Hilbert spaces, these operators are represented through conditional mean embeddings, whose regularized estimator coincides with the posterior mean of Gaussian process regression. Building on this correspondence, we formulate Gaussian Process Dynamic Mode Decomposition, a Bayesian transfer-operator method that combines sparse variational Gaussian processes with kernel-based Koopman and Perron--Frobenius operator approximation. The resulting framework provides a principled route to uncertainty quantification, scalable sparse approximations, and data-adaptive dictionary learning for prediction and spectral analysis. Additionally, the model-selection formulation naturally gives rise to a forward--backward operator structure, which establishes a connection between Bayesian transfer-operator learning and time-lagged canonical correlation analysis.

arXiv:2607.10430v2q-bio.NC

인공 신경망에서 표현 학습을 통한 창발적 일반화

Emergent Generalization by Representation Learning in Artificial Neural Networks

Dimensionality reduction has proven powerful for identifying neural manifolds, which are low-dimensional structures underlying high-dimensional neural activity. These low-dimensional representations have improved the interpretability of population-level coding. Yet whether such low-dimensional representations are biologically relevant and confer functional advantages in learning systems, or merely reflect neuron-level activity, remains contested in neuroscience. We show that an explicit information bottleneck forcing a recurrent neural network to learn a low-dimensional representation is necessary for rotational and out-of-distribution generalisation in a time-series prediction task. Using information-theoretic measures of causal emergence, we characterise the dynamics of this representation across the memorisation-to-generalisation transition, finding a non-monotonic trajectory which shows an initial decrease, a minimum, and a subsequent rise to a maximum, even as prediction loss falls monotonically. This trajectory scales with task complexity, and the magnitude of emergent structure reliably predicts generalisation performance. Analysis of hippocampal CA1 and medial prefrontal activity in rats learning an alternating maze task reveals analogous non-monotonic emergence dynamics that track behavioural performance. Together, these findings indicate that the ability of neural networks to learn compact, distributed and emergent representations confers a functional advantage for generalisation, supporting a causal role for learned representations in cognition.

arXiv:2604.23952v3stat.ML

Score-Based Modeling of Effective Langevin Dynamics with State-Dependent Mobility

In a previous work [L. T. Giorgini, Phys. Rev. E 114, L012102 (2026)], we introduced stochastic reduced-order models that reproduce by construction the stationary density and short-time correlations of the observed variables, using a constant mobility matrix and the score, the gradient of the logarithm of this density. Here we generalize the framework to state-dependent mobilities, calibrated so that the model also reproduces the finite-lag correlation functions of chosen target observables. The calibration uses exact finite-lag forms of the generalized fluctuation-dissipation theorem, which express time derivatives of lagged correlations as averages over observed pairs of states and are linear in the mobility. When the mobility is expanded on a basis of known fields, its coefficients follow from a least-squares problem involving only the stationary score, and the observables and basis are selected by data-driven diagnostics. Otherwise, a neural-network mobility is calibrated through the conditional score of the finite-time transition density. We validate the approach analytically on a Cox-Ingersoll-Ross process and numerically on a two-dimensional nonequilibrium diffusion with multiplicative noise and a 36-dimensional soft-spin Landau-Lifshitz chain. Both methods reproduce the stationary statistics and the target correlations accurately. Because the identities can be integrated between consecutive lags, so that no time derivatives need to be estimated, the recovered drift and diffusion are much less sensitive to coarse sampling than Kramers-Moyal estimates, which require short sampling intervals. Calibration requires no simulation of the model and applies to high-dimensional systems.

arXiv:2611.00446v1math.DS

Analog and hybrid computing in the 21st century

Analog computers solve problems through physical representations of mathematical variables and relations, often using the dynamics of electronic circuits and their associated signals. Many analog computers directly represent nonlinear dynamical systems; they encode their solutions in the signals that they generate. Although most modern scientific computing relies on digital architectures with inherently discrete-valued representations and algorithmic approaches, the design constraints of such architectures increasingly limit both performance and energy efficiency. Analog systems can circumvent some of these constraints; they execute specific computations very efficiently by mapping them directly onto physical processes using smaller and simpler computing elements than the ones in digital architectures. In this article, we provide an interdisciplinary perspective on modern analog and hybrid (i.e., analog-digital) computing. We discuss how modern scientific computing workflows can leverage analog approaches in various applications, such as in simulating dynamical systems, performing optimization, and enabling more energy-efficient implementations of artificial intelligence.

arXiv:2610.27321v2nlin.CD

Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability

Gradient descent with momentum can be viewed as a particle moving with friction in the loss landscape. In deep learning the learning rate is usually large, so training is a discrete dynamical system: in many full-batch experiments the sharpness grows to the optimizer's stability limit, the edge of stability (EoS), and training continues there. Physics-inspired optimizers change this motion; Velocity-Regularized Adam (VRAdam), for example, shrinks the step at high speed. We study kinetic maps, in which the step is the gradient of a kinetic energy of the momentum, and ask what they do beyond the EoS. (i) In a reduced model, a kinetic map creates a symmetric period-two orbit beyond the edge, strictly linearly stable if and only if the map's elasticity (the log-log slope of step length versus momentum) lies between 0 and 1; on it, training sits at an effective edge of stability. VRAdam's damper fails above twice the critical learning rate, where its kinetic energy is not convex; the Legendre dual of VRAdam's own Lagrangian is convex and passes at every learning rate. (ii) Because the sharpness rises gradually, the loss of stability is delayed, as in Neishtadt's theory of slowly swept bifurcations. In a network with a controlled sweep, the dynamics match this theory without fitted parameters, including the memory of where the sweep started and its erasure by noise. (iii) With momentum, reaching the oscillation also requires elasticity at large momentum: maps that bound the step have competing period-four and chaotic attractors already at beta1 = 0.9, while the cubic-Legendre map reached the oscillation from every sampled start up to beta1 = 0.99. Experiments on an exact quadratic problem, a full-batch MLP and ResNet-32 support the theory; on ResNet-18, much of the apparent benefit of the maps is reproduced by matching the effective learning rate.

arXiv:2610.11866v1cs.LG

스펙트럼 신뢰성을 통한 동적 시스템 학습에서의 잠재 차원 스케일링 이해

Understanding Latent-Dimension Scaling in Dynamical-System Learning through Spectral Reliability

심층 학습(deep learning)에서 근사 이론은 표현 크기를 늘리는 동기가 됩니다. 본 연구에서는 이러한 이점이 자기회귀 예측을 통한 역학(dynamics) 학습에도 확장되는지 질문을 던집니다. 우리는 쿠프만 연산자(Koopman operator)의 고유구조(eigenstructure)를 통해 학습된 시간 변화를 분석하며, 1단계 예측 오차가 감소하더라도 발생하는 가짜 고유쌍(spurious eigenpair)을 탐지하기 위해 상대 잔차(relative residual)를 사용합니다. 유계 쿠프만 연산자에 대해, 학습된 딕셔너리 공간이 관측 가능 공간을 $L^2$에서 근사함에 따라 해당 공간에서의 최소 잔차가 전체 공간의 잔차로 점별 수렴함을 보입니다. 우리의 가설은 쿠프만 스펙트럼 신뢰성이 차원 증가에 따라 롤아웃(rollout) 오차가 얼마나 일관되게 감소하는지 설명하는 데 도움이 된다는 것입니다. 우리는 잠재 예측 손실(잠재 좌표계에서의 1단계 예측 오차) 또는 스펙트럼 잔차 손실(후보 고유쌍의 상대 잔차)을 사용하여 재구성 및 잠재 시간 변화에 대해 번갈아 학습된 공유 쿠프만 오토인코더의 두 모델을 비교합니다. 6개의 혼돈 시스템 전반에서, 두 모델 모두 최소 차원에서 최대 차원으로 갈수록 윈도우 롤아웃 오차의 중앙값을 감소시켰습니다. 스펙트럼 잔차 모델은 모든 시스템 및 차원에서 잠재 예측 모델보다 더 낮은 중앙값을 달성했으며, 모든 시스템에서 그 중앙값이 더 큰 비율로 감소했습니다. 스펙트럼 잔차 모델의 중앙값은 4개 시스템에서 차원에 따라 단조 감소한 반면, 잠재 예측 모델은 1개 시스템에 그쳤습니다. 4개의 기준선(baseline) 군과 비교했을 때, 스펙트럼 잔차 모델의 평균 유효 예측 시간은 거의 항상 더 길었습니다. 2단계 학습의 최대 차원에서 각 학습된 딕셔너리의 잔차 등고선과 고유값 위치를 비교했습니다. 스펙트럼 잔차 고유값은 잔차가 낮은 영역에 집중된 반면, 잠재 예측 고유값은 잔차가 높은 영역에도 나타나 가설과 일치함을 확인했습니다.

arXiv:2610.07496v1physics.ao-ph

데이터 동화와 머신러닝의 접점

The interface of data assimilation and machine learning

데이터 동화(DA)는 시스템의 상태를 최적으로 추정하기 위해 모델의 예측치와 관측치를 결합하는 과정입니다. 대기와 같은 혼돈계(chaotic systems)에서는 관측치가 지속적으로 동화되지 않으면 모델의 예측 능력이 빠르게 저하되기 때문에 이는 매우 중요합니다. DA는 전 세계의 현업 예보 센터에서 통상적으로(대개 6시간마다) 수행되고 있습니다. 본 논문에서는 머신러닝(ML)과 DA의 접점에 대해 논의합니다. 이는 여전히 태동 중이며 빠르게 발전하고 있는 분야로, 본 논문에서는 주요 주제와 방법론 중 일부를 개괄하고자 합니다.

arXiv:2610.06952v1cs.LG

신경망 편미분방정식 솔버는 올바른 역학을 학습하는가?

Do Neural PDE Solvers Learn the Right Dynamics?

신경망 편미분방정식(PDE) 솔버는 낮은 예측 오차를 달성할 수 있지만, 모델링 대상 시스템의 역학(dynamics)을 제대로 재현하고 있을까요? 단순한 예측 점수만으로는 불완전한 답만을 제공합니다. 이러한 점수는 참조 해와의 일치도를 측정하지만 오차가 어떻게 누적되는지, 인접한 상태들이 어떻게 발산하는지, 혹은 극단적 사건이 어떻게 발생하는지에 대해서는 제한적인 통찰만을 제공하기 때문입니다. 본 논문에서는 결정론적 및 확률적 신경망 솔버에서 이러한 동작을 직접 조사하는 평가(evaluation) 프레임워크를 제안합니다. 인접한 초기 상태들의 앙상블(ensemble)을 전개하고 이를 직접 수치 모사(DNS)와 비교함으로써, 학습된 역학의 세 가지 상호보완적인 측면인 오차 형성, 앙상블 기하학, 극단적 사건을 평가합니다. 2차원 콜모고로프 흐름(Kolmogorov flow)에 대한 실험은 기존 점수가 가릴 수 있는 한계점들을 드러냅니다. 더 작은 궤적 오차는 국소 업데이트가 덜 정확함에도 불구하고 오차 증폭이 약해진 것을 반영할 수 있습니다. 또한 모델은 인접 상태들이 발산하는 공간적 방향을 포착하지 못하면서도 앙상블의 전반적인 퍼짐과 유효 차원은 일치시킬 수 있습니다. 마찬가지로 전반적인 사건 빈도를 맞추는 것이 지속적인 극단적 사건을 예측하지 못하는 실패를 은폐할 수도 있습니다. 이러한 발견은 향상된 예측 정확도가 반드시 더 높은 동역학적 충실도(dynamical fidelity)를 의미하지는 않음을 보여줍니다. 본 연구의 프레임워크는 이러한 차이를 측정 가능하게 만들어, 신경망 PDE 솔버의 발전이 기저 역학을 더 잘 포착하는지 평가하기 위한 구체적인 기준을 제공합니다.

arXiv:2610.06798v2math.DS

학습된 확률론적 AI 시뮬레이터를 위한 응답 이론 프로브 및 Lorenz-63 대상 검증

A Response Theory Probe for Learned Stochastic AI Simulators, Tested on Lorenz-63

혼돈 및 확률론적 시스템을 모사하는 머신러닝 에뮬레이터는 주로 예측 성능과 장기 통계를 바탕으로 검증됩니다. 그러나 두 방식 모두 예측(projection) 및 귀인(attribution) 연구가 의존하는 특성인, 외력(forcing)에 대한 에뮬레이터의 올바른 응답 여부를 보증하지는 못합니다. 선형 응답 이론은 이를 검증 가능하게 만듭니다. 즉, 외력에 의한 응답은 일반화된 변동-소산 관계(fluctuation-dissipation relation)를 통해 섭동이 없는 상관관계로부터 유도되며, 쿱만 생성기(Koopman generator)의 확률론적 뤼엘-폴리콧 공명(Ruelle-Pollicott resonances)에 따라 분해됩니다. 쿱만주의 응답(Koopmanism Response) 프레임워크를 바탕으로, 본 연구는 이를 학습된 대리 모델(surrogate)을 위한 보정된 모드별(mode-resolved) 검증 방식으로 전환합니다. 각 대리 모델의 롤아웃(rollout)은 각 검증 단계를 통과하거나 실패하며, 실패율은 실제 시스템의 독립적인 실현(realization) 결과와 비교됩니다. 3변수 토이 모델인 확률론적 Lorenz-63에서, 저자들은 SINDy, MLP, 레저버 컴퓨터(reservoir computer), 신경 ODE(neural ODE), 그리고 학습된 확산을 포함하는 신경 SDE(neural SDE)를 각각 최대 80회의 롤아웃에 걸쳐 평가합니다. 올바른 라이브러리를 갖춘 희소 회귀 모델은 실제 시스템과 일치하는 비율로 모든 검증을 통과합니다. 불변 통계 충실도와 응답 충실도는 양방향으로 분리됩니다. 레저버 컴퓨터 롤아웃의 4분의 1은 모든 불변 통계 검증을 통과하고 정적 감수율 $χ(0)$과 일치하지만 느린 이완 모드(slow relaxation modes)를 잘못 표현하는 반면, 신경 ODE와 SDE는 불변 통계의 최저 기준을 거의 충족하지 못하지만 롤아웃의 4분의 3에서 해당 모드를 복원합니다. 빠른 이완이 지배적인 시간 적분량에서 예상할 수 있듯이, $χ(0)$은 이러한 사례들을 구분하지 못합니다. 고정된 네트워크의 경우, 학습(training) 공식화 방식(단일 단계 드리프트, 흐름 맵, 적분기를 통한 다단계)에 따라 이러한 특성 중 어떤 것을 정확히 포착하는지가 결정됩니다.

arXiv:2610.01369v1cs.LG

중복성에서 최소성으로: 학습된 구분적 선형 동역학의 고정점 유도 계층적 축소

From Redundancy to Minimality: Fixed-Point-Guided Hierarchical Reduction of Learned Piecewise-Linear Dynamics

시계열로부터 비선형 동역학계를 이해하기 위해서는 궤적을 재현하는 것뿐만 아니라 본질적인 동역학 구조를 보존하는 단순한 표현을 찾아내는 것이 필요합니다. 거의 선형인 순환 신경망(AL-RNN)은 일부 유닛만이 렐루(ReLU) 비선형성을 사용하는 구분적 선형 RNN으로, 렐루 유닛의 수에 의해 비선형 용량이 명시적으로 제어됩니다. 이러한 유닛들의 활성화 패턴은 기호로 표현되는 선형 영역을 정의하며, 이들의 관측된 전이는 기호 전이 그래프를 형성합니다. 그러나 최소 동역학 표현을 구현하기 위해 적은 수의 렐루 유닛을 갖는 AL-RNN을 직접 학습(training)시키는 것은 신뢰성이 떨어질 수 있습니다. 본 연구에서는 더 많은 렐루 유닛을 갖는 AL-RNN을 먼저 학습시킨 뒤 체계적으로 최소 동역학 표현으로 축소할 수 있는지 질문을 던집니다. 우리는 선택된 렐루 유닛을 점진적으로 선형화하여, 고정점(fixed points, FP)을 포함하는 고유한 기호를 보존하면서 인접한 선형 영역 및 그래프 노드를 병합하는 고정점 유도 계층적 축소 절차를 소개합니다. 결과로 생성되는 축소 트리는 점진적으로 단순해지는 후보들의 계층 구조를 정의합니다. 축소된 각 후보는 부모 매개변수로부터 초기화되고 부모 동역학의 안내 하에 재학습됩니다. 또한 우리는 $Q$개의 서로 다른 고정점을 재현하려면 최소 $Q$개의 FP 포함 기호가 필요함을 증명하여, 이 한계에 도달했을 때 기호 수준의 최소성을 보증합니다. 3-스크롤 Chua 시스템에서 이론적 최소치인 3개의 렐루 유닛을 사용한 직접 학습은 20%의 시드에서만 충실도 높은 최소 구현을 달성한 반면, 우리의 학습-축소-재학습 전략은 동일한 최종 비선형 용량에서 시드-매크로 성공률을 약 71%까지 증가시켰습니다. 이러한 결과는 중복된 비선형 용량이 최소 동역학 표현을 발견하고 실현하기 위한 발판 역할을 할 수 있음을 보여줍니다.

arXiv:2609.39792v2cs.LG

TopTimeNet: 위상학적으로 보조된 시계열 분류 모델

TopTimeNet: Topologically-assisted time-series classification model

시계열에서 주기적 역학과 혼돈 역학을 구별하는 것은 물리학과 공학 모두에서 근본적인 과제입니다. 그러나 엔드투엔드(end-to-end) 학습 기반 아키텍처는 상당한 비용을 들여 데이터로부터 표현과 결정 경계를 모두 찾아내야 합니다. 본 연구에서는 이러한 작업을 분리하는 TopTimeNet을 소개합니다. 고정된 비학습 단계에서 타켄스 지연 임베딩(Takens delay embeddings) 및 지속성 호몰로지(persistent homology)를 통해 $42$차원의 기하학적·위상수학적 기술자를 추출하고, 경량 학습 가능 단계에서 분류를 수행합니다. $49$개의 비선형 동역학계로 구성된 벤치마크에서, $1{,}638$개의 매개변수를 갖는 구성은 $33$배 더 많은 학습 가능한 매개변수를 갖는 구성의 평균 정확도와 일치합니다. 또한, 이 접근법은 세 자리에서 네 자리 수(orders of magnitude)만큼 더 적은 학습 가능 매개변수를 요구하면서도 합성곱 신경망(CNN)에 필적하는 평균 정확도를 제공하고 수렴된 트랜스포머 모델의 평균 성능을 능가합니다. 견고성 또한 노이즈가 유입되는 위치에 크게 좌우됩니다. TopTimeNet은 사전 계산된 특징에 대한 섭동에는 완만하게 저하되지만, 원시 신호에 노이즈가 유입되어 전체 특징 추출 파이프라인이 재계산될 때는 급격히 저하되므로, 사전 계산된 특징의 섭동에 대한 견고성이 원시 신호부터 예측까지 이어지는 전체 파이프라인의 견고성을 의미하지는 않음을 보여줍니다. 이러한 결과는 고정된 기하학적 및 위상수학적 특징 구성을 경량 판별 단계와 분리함으로써 실질적으로 훨씬 적은 학습 가능 매개변수로도 대등한 분류 정확도를 달성할 수 있음을 보여줍니다.

arXiv:2609.27877v1nlin.CD

혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배

Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics

혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.

arXiv:2609.26890v1cs.LG

PR-Smoother: 데이터 동화를 위한 시뮬레이터 보존 비가우시안 스무딩

PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation

많은 물리적 데이터 동화(DA) 워크플로는 물리 상태 변수에 대한 비가우시안 사후분포를 표현하고, 고차원 시뮬레이터로 확장 가능하며, 관측 구간만으로 학습하고, 주어진 시뮬레이터 보정과 호환되는 스무딩 방법을 요구한다. 본 논문은 이러한 주어진-시뮬레이터 DA 체계를 위해 설계된 시뮬레이터 보존 상환(amortized) 스무더인 PR-Smoother를 제안한다. 핵심 설계 원칙은 증거 하한(evidence lower bound)과 변분(variational) 계열 모두에서 주어진 시뮬레이터를 명시적으로 유지하는 것이다. 대체 역학이나 학습된 궤적 사전(prior)을 학습하는 대신, PR-Smoother는 주어진 롤아웃 주변에서 미래 조건(future-conditioned) 보정만을 학습한다. 이를 통해 물리 궤적에 대한 명시적 비가우시안 스무딩 분포를 얻으며, 관측만으로 상태, 매개변수, 센서 바이어스의 공동 학습을 지원한다. 변분 계열은 결정론적 한계와 선형-가우시안 한계에서 정확한 스무더를 포함한다. 실험적으로 PR-Smoother는 4차원 Lorenz-96에서 다중모드 사후분포를 포착하고, 40차원 Lorenz-96에서 모호한 비선형 관측과 과정 노이즈(process noise) 하에서도 정확도를 유지하며, 16,384차원 Kolmogorov flow에서 상태-매개변수-바이어스 공동 추론으로 확장된다.

arXiv:2609.24754v1cs.LG

차세대 리저버 컴퓨팅을 활용한 미지의 동역학적 구성 요소 추론: 카오스 시스템부터 기후 데이터까지

Inference of Unknown Dynamical Components Using Next Generation Reservoir Computing: From Chaotic Systems to Climate Data

본 연구에서는 동역학 시스템의 관측되지 않은 구성 요소를 추론하기 위한 데이터 기반 접근법으로 차세대 리저버 컴퓨팅(NGRC, Next Generation Reservoir Computing)을 조사합니다. 하나의 주어진 구성 요소로부터 두 개의 미지 구성 요소를 추론하는 로렌츠(Lorenz) 및 뢰슬러(Rössler) 시스템을 사용하여 NGRC와 기존 리저버 컴퓨팅(RC)을 비교합니다. 두 시스템 모두에서 NGRC는 RC보다 더 적은 학습(training) 데이터와 계산 시간으로도 정확한 결과를 달성합니다. 연구진은 NGRC에 필요한 시간 지연 스텝 수와 시간 해상도 간의 반비례 관계를 규명하였으며, 이는 지연 구간이 포괄하는 물리적 시간 범위가 필요한 지연 스텝 수를 결정하는 데 중요한 요인임을 나타냅니다. 마지막으로, NGRC를 엘니뇨-남방진동(ENSO, El Niño--Southern Oscillation)의 기후 관측 데이터에 적용하여 나머지 변수들로부터 하나의 관측 변수를 추론합니다. 실제 데이터의 노이즈와 복잡성에도 불구하고 NGRC는 유망한 결과를 보여줍니다. 본 연구 결과는 통제된 동역학 시스템과 실제 데이터 모두에서 관측되지 않은 구성 요소를 효율적으로 추론하는 데 있어 NGRC의 잠재력을 입증합니다.

arXiv:2609.22205v1cs.LG

리저버 컴퓨팅을 이용한 점핑 쿼터카 모델의 비선형 진동 예측

Prediction of Nonlinear Oscillations in a Jumping Quarter-Car Model Using Reservoir Computing

차량 역학(vehicle dynamics)의 신뢰성 있는 예측은 자율 제어 및 첨단 운전자 지원 시스템(ADAS)과 같은 스마트 주행 응용 분야에 필수적입니다. 농업 및 건설 환경에서 사용되는 오프로드 차량은 타이어와 노면 간의 간헐적인 접촉 손실로 인해 발생하는 분기(bifurcation) 및 카오스 운동을 포함한 비선형 거동을 보이기 특히 쉽습니다. 이러한 역학을 예측하는 것은 매끄러운 비선형성과 접촉 손실에 따른 불연속적인 스위칭을 모두 해결해야 하므로 까다롭습니다. 본 연구에서는 점핑 쿼터카 모델의 데이터 기반 예측을 위해 리저버 컴퓨팅(RC), 구체적으로는 에코 상태 네트워크(ESN)의 적용 타당성을 조사합니다. 리저버는 소수의 지점에서 얻은 시계열 데이터로 학습(training)되며, 주기 및 카오스 영역 전반에 걸쳐 분기 다이어그램, 위상 공간 어트랙터, 시간 궤적을 재구성하는 능력을 바탕으로 평가(evaluation)됩니다. 학습된 리저버는 카오스로 이어지는 주기 배가 경로(period-doubling route to chaos)를 정성적으로 재현하며 주기 및 카오스 어트랙터의 기하학적 구조를 포착합니다. 이러한 결과는 리저버 컴퓨팅이 실제적인 비매끄러운 차량 시스템에서 비선형 역학을 예측할 수 있는 실현 가능한 데이터 기반 예측기임을 보여줍니다.

arXiv:2506.03889v3cs.LG

예측에서의 시간적 지평: 성능과 학습 가능성 간의 트레이드오프

Temporal horizons in forecasting: a performance-learnability trade-off

동역학계(dynamical systems)를 예측하기 위해 자기회귀 모델(autoregressive model)을 학습(training)시킬 때 중요한 의문이 제기됩니다. 최적의 성능을 달성하려면 모델이 미래의 어느 지점까지 예측하도록 학습되어야 할까요? 본 연구에서는 손실(loss) 지형의 기하학적 구조와 학습 시간 지평(training time horizon) 간의 관계를 분석하여 이 질문을 다룹니다. 동역학계 이론을 활용하여, 긴 지평에 대한 손실 극솟값(loss minima)은 단기 예측으로 잘 일반화되지만 단기 지평에서 발견된 극솟값은 장기 예측 성능을 저하시킨다는 것을 증명합니다. 그러나 학습 지평이 길어질수록 손실 지형이 더 험난해져 장기 지평 학습이 본질적으로 어려워진다는 점 또한 증명합니다. 수치 실험을 통해 이론을 검증하고 학습 지평 선택에 대한 실질적인 시사점을 논의합니다. 본 연구 결과는 자기회귀 예측 모델의 하이퍼파라미터(hyperparameter) 최적화를 위한 원리적 기반을 제공합니다.

arXiv:2609.05337v1cs.LG

이중 진자 주기 궤도를 위한 변분 연속법

Variational Continuation for Double Pendulum Periodic Orbits

본 논문에서는 동역학계(dynamical systems)에서 주기 궤도를 수치적으로 연속(continue)하기 위한 헤시안(Hessian) 기반 접근법을 제시합니다. 루프(주기 궤도 후보)는 푸리에 급수로 매개변수화되며, 물리 미분 방정식으로부터의 루프 편차를 기반으로 손실(loss) 함수가 정의됩니다. 손으로 유도한 야코비안(Jacobian)에 의존하던 기존 연구와 달리, 본 연구의 방법은 일반적인 머신러닝 기법인 자동 미분(automatic differentiation)을 활용하여 이 과정을 자동화합니다. 연속 방향은 손실 지형(loss landscape)의 평평한 방향(고윳값이 0인 방향)에 의해 결정될 수 있으므로, 주기 궤도 탐색을 효율적이고 유도된 방식으로 수행할 수 있습니다. 본 방법은 적분기 없이 작동(integrator-free)하며, 불안정한 고정점 주변의 진동을 정밀하게 초기화하고, 궤도 패밀리 교차점 및 서브하모닉 분기(subharmonic bifurcation)를 효율적으로 감지합니다. 시연으로서, 고정점으로부터의 주기적 이중 진자 진동에 대한 완전한 연속을 제시하여 궤도 패밀리를 따르는 분기를 보여주고 주기 궤도의 브랜치를 분류합니다. 특히, 우리가 아는 한 문헌에서 누락되었던 두 진자 질량이 동시에 정지하지 않는 주기 궤도를 발견했습니다.

arXiv:2609.01914v1nlin.CD

저수지 컴퓨팅에서 동역학적 기억의 유역 기하와 신뢰할 수 있는 재현

Basin Geometry and Reliable Recall of Dynamical Memories in Reservoir Computing

신뢰할 수 있는 attractor 재현은 통상 넓은 끌림 유역(basin of attraction)을 요구한다. 그러나 저수지 컴퓨팅(reservoir computing) 기반 연상 기억에서는, 예측 불가능하고 riddled-like 영역이 지배하는 유역임에도 시간적 단서(temporal cue)가 동역학적 기억을 안정적으로 복원한다. 우리는 기억 유역이 attractor 근처의 견고한 「머리(head)」와 상태 공간을 가로지르는 가늘고 얽힌 「촉수(tentacle)」로 이루어진 「문어형(octopus-like)」 구조를 보인다는 것을 밝힌다. 촉수 영역의 초기 상태는 거의 0에 가까운 불확실성 지수(uncertainty exponent)를 낳아, 유한 정밀도에서는 재현된 기억이 사실상 예측 불가능해진다. 그럼에도 단서 기반 일반화 동기화(generalized synchronization)는 이 예측 불가능성을 우회하여 시스템을 견고한 유역 머리로 이끈다. 이 메커니즘은 최소 단서 지속 시간, 동기화 속도, 유역 머리 반경을 연결하는 정량적 관계를 제공한다. 학습된 순환 신경망(recurrent neural network)에서도 유사한 기하가 관찰되어, 이 현상이 저수지 컴퓨팅을 넘어 확장될 수 있음을 시사한다.

arXiv:2608.30231v1q-bio.NC

신경 회로에서의 "많으면 달라진다(More Is Different)": 생물학적 신경망의 표준 순환 모티프에서 유효 이론의 대수적 창발

"More Is Different'' in Neural Circuits: Algebraic Emergence of Effective Theories in Canonical Recurrent Motifs of Biological Neuronal Networks

표준 신경 회로 모티프(canonical neural circuit motif)는 보통 기능적으로 기술됩니다. 즉, 분할 정규화(divisive normalization)는 풀링된 신호로 집단 활동을 재조정하고, 승자독식(WTA) 경쟁은 순환 흥분과 공유 억제를 통해 하나의 패턴을 선택합니다. 본 연구에서는 이들과 이들의 합성을 유한 변환 시스템으로 대수적으로 표현하고, 입력 조건부 업데이트에 의해 생성되는 전이 모노이드(transition monoid)를 분석하여, 생성원(generator)에 이미 존재하는 구조와 합성을 통해서만 나타나는 구조를 구분하며, 결합 상태 공간에서는 한 인자로부터 상속된 구조와 결합 구성(joint configuration)에 존재하는 구조를 구분합니다. 개별적으로 비주기적인(aperiodic) 업데이트가 비-비주기적 모노이드를 생성할 수 있습니다. WTA에서는 모든 동결 구동(frozen-drive) 생성원이 고정점으로 붕괴하지만, 짧은 입력 시퀀스는 승자 의존적 억제 게이팅의 국소 순환을 생성하며, 이는 가역적 작용을 지닌 전역적 소산 역학(globally dissipative dynamics with a reversible action)에 해당합니다. 가장 강력한 결과는 WTA-대-DN 합성에서 나타납니다. 모든 원시 생성원이 비주기적임에도 불구하고, 합성된 모노이드는 정규화 상태와 승자의 게이팅 상태가 함께 변화하는 진정한 합성 국소 순환을 포함하게 됩니다. 홀로노미(holonomy) 분석은 이를 부수적인 순환이 아니라 크론-로드(Krohn-Rhodes) 캐스케이드의 군 성분(group component)임을 입증하며, 결합되지 않은 곱(uncoupled product)에는 군 성분이 전혀 없는 반면, 군을 지닌 상 집합(group-carrying image set)의 대부분이 결합 구성 상에 존재함을 발견합니다. 철저한 인터페이스 스윕(interface sweep)을 통해 이 합성 순환이 선택된 맵의 특성이 아니라 결합(coupling) 자체의 특성임을 보여줍니다. 모티프가 신경 계산의 구성 요소라면, 이들을 합성하는 것은 일종의 프로그래밍입니다. 즉, 생성된 대수가 의도한 레퍼토리를 갖도록 원시 요소와 인터페이스를 선택하는 것입니다. 전이 모노이드가 바로 그 레퍼토리, 즉 원시 요소가 이후의 모든 구성에 제시하는 것입니다. 순환 회로는 합성 변환 시스템이며, 이들의 대수는 회로가 계산하도록 프로그래밍될 수 있는 범위를 제약합니다.