중복성에서 최소성으로: 학습된 구분적 선형 동역학의 고정점 유도 계층적 축소
From Redundancy to Minimality: Fixed-Point-Guided Hierarchical Reduction of Learned Piecewise-Linear Dynamics
한국어 초록
시계열로부터 비선형 동역학계를 이해하기 위해서는 궤적을 재현하는 것뿐만 아니라 본질적인 동역학 구조를 보존하는 단순한 표현을 찾아내는 것이 필요합니다. 거의 선형인 순환 신경망(AL-RNN)은 일부 유닛만이 렐루(ReLU) 비선형성을 사용하는 구분적 선형 RNN으로, 렐루 유닛의 수에 의해 비선형 용량이 명시적으로 제어됩니다. 이러한 유닛들의 활성화 패턴은 기호로 표현되는 선형 영역을 정의하며, 이들의 관측된 전이는 기호 전이 그래프를 형성합니다. 그러나 최소 동역학 표현을 구현하기 위해 적은 수의 렐루 유닛을 갖는 AL-RNN을 직접 학습(training)시키는 것은 신뢰성이 떨어질 수 있습니다. 본 연구에서는 더 많은 렐루 유닛을 갖는 AL-RNN을 먼저 학습시킨 뒤 체계적으로 최소 동역학 표현으로 축소할 수 있는지 질문을 던집니다. 우리는 선택된 렐루 유닛을 점진적으로 선형화하여, 고정점(fixed points, FP)을 포함하는 고유한 기호를 보존하면서 인접한 선형 영역 및 그래프 노드를 병합하는 고정점 유도 계층적 축소 절차를 소개합니다. 결과로 생성되는 축소 트리는 점진적으로 단순해지는 후보들의 계층 구조를 정의합니다. 축소된 각 후보는 부모 매개변수로부터 초기화되고 부모 동역학의 안내 하에 재학습됩니다. 또한 우리는 $Q$개의 서로 다른 고정점을 재현하려면 최소 $Q$개의 FP 포함 기호가 필요함을 증명하여, 이 한계에 도달했을 때 기호 수준의 최소성을 보증합니다. 3-스크롤 Chua 시스템에서 이론적 최소치인 3개의 렐루 유닛을 사용한 직접 학습은 20%의 시드에서만 충실도 높은 최소 구현을 달성한 반면, 우리의 학습-축소-재학습 전략은 동일한 최종 비선형 용량에서 시드-매크로 성공률을 약 71%까지 증가시켰습니다. 이러한 결과는 중복된 비선형 용량이 최소 동역학 표현을 발견하고 실현하기 위한 발판 역할을 할 수 있음을 보여줍니다.
원문 초록
Understanding a nonlinear dynamical system from time series requires not only reproducing its trajectories, but also identifying a simple representation that preserves its essential dynamical structure. Almost-linear recurrent neural networks (AL-RNNs) are piecewise-linear RNNs in which only a subset of units use ReLU nonlinearities, so that nonlinear capacity is explicitly controlled by the number of ReLU units. Their activation patterns define linear regions, represented as symbols, whose observed transitions form a symbolic transition graph. However, directly training AL-RNNs with few ReLU units to realize minimal dynamical representations can be unreliable. We ask whether an AL-RNN with more ReLU units can instead be trained first and systematically reduced to a minimal dynamical representation. We introduce a fixed-point-guided hierarchical reduction procedure that progressively linearizes selected ReLU units, merging neighboring linear regions and graph nodes while preserving distinct symbols containing fixed points (FPs). The resulting reduction tree defines a hierarchy of progressively simpler candidates. Each reduced candidate is initialized from the parent parameters and retrained under guidance from the parent dynamics. We also prove that reproducing $Q$ distinct fixed points requires at least $Q$ FP-containing symbols, providing a certificate of symbol-level minimality when this bound is attained. On the 3-scroll Chua system, direct training with the theoretical minimum of three ReLU units achieves high-fidelity minimal realizations in only 20% of seeds, whereas our learn-reduce-retrain strategy increases the seed-macro success rate to approximately 71% at the same final nonlinear capacity. These results show that redundant nonlinear capacity can serve as a scaffold for discovering and realizing minimal dynamical representations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
27 pages, 6 figures