PyTorchKR Papers

최신 논문

총 49편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.03940v5math.DS

Reentrant value fields as delayed coupled reaction-diffusion systems on finite graphs

We describe a dynamical system in which a symbolic field is coupled to a geometric field via a bipartite Hilbert-Schmidt kernel. The system is fully described by a retarded functional differential equation (RFDE) on the history space, subject to Lipschitz and small gain conditions. We show that the RFDE is well-posed under constant input and that it admits a compact global attractor. The principal subsystem $(H_L, X_R, P)$, which is comprised of the two primary fields as well as an executive field, is shown to be globally stable independent of delay, provided that the interfield coupling satisfies $C_{\mathcal{K}}^2<\mu_L\mu_R$. In addition, we describe design specifications that fulfill the hypotheses of the main Theorem.

arXiv:2602.01929v3math.DS

Function-on-function nonlinear autoregressive model (F2NARX) for probabilistic surrogate modeling of stochastic dynamical systems

Constructing accurate and computationally efficient surrogate models for predicting dynamical system responses is critical in many engineering domains, yet remains challenging due to the strongly nonlinear and high-dimensional mapping from external excitations and system parameters to system responses. This work introduces a novel Function-on-Function Nonlinear AutoRegressive model with eXogenous inputs (F2NARX), which reformulates the recently proposed $\mathcal{F}$-NARX method from a function-on-function regression perspective. The proposed framework substantially improves predictive efficiency while maintaining high accuracy. By combining principal component analysis with Gaussian process regression, F2NARX further enables probabilistic predictions of dynamical responses via the unscented transform in an autoregressive manner. The effectiveness of the method is demonstrated through case studies of varying complexity. Results show that F2NARX outperforms state-of-the-art NARX model by orders of magnitude in efficiency while achieving higher accuracy in general. The probabilistic prediction capability of F2NARX is further demonstrated by combining it with active learning for first-passage probability estimation, showing its potential for reliability-oriented applications.

arXiv:2610.13916v1math.PR

커널 유도 기하에서의 마르코프 연쇄 수렴

Markov Chain Convergence in Kernel-Induced Geometry

본 논문에서는 최대 평균 불일치(MMD)라고도 불리는 양의 정부호 커널과 연관된 힐베르트 임베딩에 의해 유도된 기하에서 마르코프 연쇄(Markov chain)의 수렴을 연구합니다. 커널 유도 기하에서의 수축 가정과 표준 스펙트럼 갭 가정을 바탕으로, 경험적 점유 측도가 불변 측도로 수렴하는 것에 대한 비점근적 고확률 경계를 확립합니다. 도출된 경계는 두 조건의 역할을 분리합니다. 스펙트럼 갭은 주요 항의 유효 표본 크기를 결정하는 반면, 커널 수축은 선형 보정을 통해서만 반영됩니다. 응용 사례로서, 단일 궤적으로부터 동적 시스템의 1단계 예측을 연구하고 비선형 최소제곱 추정기에 대한 빠른 학습률을 유도합니다. 이 비율은 커널 유도 기하에서의 혼합 특성과 최소제곱 분석에 사용되는 고전적인 소스 및 용량 조건 간의 상호작용을 강조합니다.

arXiv:2610.13518v1math.DS

트랜스포머 내 이산 시간 셀프 어텐션 역학의 점근적 분석

Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers

머신러닝에서 셀프 어텐션 역학은 트랜스포머의 어텐션(attention) 메커니즘을 설명하며, 트랜스포머의 층(layer) 인덱스를 시간 인덱스로 취급하여 도출됩니다. 본질적으로 이산 시간(discrete-time) 시스템임에도 불구하고, 이러한 동적 시스템은 대부분 연속 시간으로 연구되어 왔습니다. 본 논문의 목적은 이산 시간 버전의 셀프 어텐션 역학을 철저하게 조사하는 것입니다. 단일 헤드 및 멀티헤드 사례 모두에서 평형점(equilibria)에 대한 완전한 분류(classification)를 제시하고 그 안정성 특성을 연구합니다. 두 경우 모두 역학의 주요 어트랙터(attractor)가 값(value) 행렬의 주 고유벡터(멀티헤드 사례의 경우 상응하는 가중치(weight) 행렬)와 정렬된 합의 평형점(consensus equilibrium)임을 보입니다. 다만, 단일 헤드 상황에서는 국소적으로 점근적 안정한 다른 이분 평형점(bipartite equilibria)도 존재함을 보일 수 있습니다. 이러한 동작은 실제 트랜스포머의 학습된 가중치 행렬을 살펴봄으로써 검증됩니다.

arXiv:2610.10621v1cs.LG

제약된 기하학적 복사로부터의 자기 조직화

Self-Organization from Constrained Geometric Radiation

외부 구동이 없는 닫힌계에서 동적 질서는 어떻게 자발적으로 발생하는가? 기존 패러다임은 모두 외부 에너지 흐름, 온도 급랭(quenching), 또는 느린 구동을 필요로 한다. 본 논문에서는 결합된 계량 진화계(coupled metric evolution systems)에서 기하학적 복사를 통해 제약으로 유도되는 자기 조직화(constraint-induced self-organization)를 보고한다. 시뮬레이션 결과 응력 축적, 초지수적 복사, 혼돈 붕괴, 그리고 5개의 양자화된 곡률 상태와 프랙털 미세 요동을 갖는 새로운 어트랙터 위상수학인 쐐기형 어트랙터(wedge-shaped attractor)라는 프랙털 극한 주기 궤도로의 수렴(convergence)으로 이어지는 보편적인 4단계 주기가 나타났다. 우리는 네 가지 결합 충분조건을 규명했다: 비가역적 기하학적 지평선, 양자 결맞음으로부터의 지속적인 응력 주입, 양립 불가능한 곡률 간의 내생적 기하학적 장력, 그리고 유효 요동. 이들의 시너지는 지평선 경계에서 임계 눈사태(critical avalanche)를 촉발한다. 우리는 기하학적 지평선 정리, 기하학적 에너지 소산 정리(닫힌계에서 파동형 엔트로피 진화를 함의함), 그리고 상전이 채널로서의 복사 정리를 포함한 세 가지 정리를 증명한다. 나아가 우리는 제약 유도 자기 조직화 정리를 확립하여, 이러한 조건들이 확률 1로 완전한 주기를 보장함을 입증한다. 체계적인 스캔을 통해 임계 노이즈 임계값과 복사 시작의 거듭제곱 법칙 스케일링(scaling)을 밝혀냈다. 우리는 12가지 구성, 다양한 노이즈 유형, 그리고 세 가지 기하학적 흐름 전반에서 보편성을 검증했다. 본 연구는 고전적 비선형 제약 조건과 중력 지평선 간의 엄밀한 수학적 이중성을 구축하여, 닫힌계 자기 조직화를 위한 새로운 패러다임을 확립한다.

arXiv:2604.21097v3stat.ML

카오스 에뮬레이션 학습: 적대적 최적 전송 정규화

Learning to Emulate Chaos: Adversarial Optimal Transport Regularization

날씨부터 전력망까지 다양한 복잡한 동역학계(dynamical systems)에서 카오스가 발생하지만, 머신러닝 에뮬레이터(emulator)와 같은 데이터 기반 방법으로 이를 정확하게 모델링하기는 어렵습니다. 에뮬레이터는 시뮬레이션 가속화 및 역문제(inverse problem) 해결을 위한 유망한 도구이지만, 특히 노이즈가 있는 데이터가 주어졌을 때 초기 조건에 대한 민감도로 인해 정확한 장기 예측이 불가능해지는 카오스 동역학을 학습하는 데 여전히 어려움을 겪고 있습니다. 최근 연구에서는 대신 카오스 어트랙터(attractor)의 통계적 특성을 일치시키도록 에뮬레이터를 학습시키지만, 이러한 접근법은 종종 수작업으로 설계된 요약 통계량이나 대규모의 다양한 다중 환경(multi-environment) 데이터셋에 의존합니다. 본 연구에서는 단일 노이즈 궤적만으로 고품질의 요약 통계량과 물리적으로 일관된 에뮬레이터를 공동 학습할 수 있는 적대적 최적 수송(adversarial optimal transport) 목적 함수군을 제안합니다. 제안하는 접근법의 싱크혼 발산(Sinkhorn divergence) 정식화(2-Wasserstein)와 WGAN 스타일의 쌍대 정식화(dual formulation)(1-Wasserstein)를 이론적으로 분석하고 실험적으로 검증합니다. 고차원 시공간 카오스를 포함한 다양한 카오스 시스템에 대한 수치 실험을 통해, 제안된 목적 함수를 사용하여 학습(training)된 에뮬레이터의 장기 통계적 충실도(statistical fidelity)가 크게 향상됨을 보여줍니다.

arXiv:2609.32652v2cs.AI

기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포

Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions

소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.

arXiv:2610.02564v1math.NA

커널 능형 회귀를 이용한 동역학계의 닫힘 모델 학습

Learning Closure of Dynamical Systems with Kernel Ridge Regression

본 연구에서는 커널 능형 회귀(Kernel Ridge Regression, KRR)를 사용하여 동역학계(dynamical systems)의 누락된 성분을 식별하기 위한 닫힘 모델링(closure modeling) 프레임워크를 개발합니다. 이 프레임워크는 두 가지 부류의 닫힘 문제를 다룹니다. 즉, 상미분방정식(ODE) 및 편미분방정식(PDE) 환경에서 발생하는 차분방정식 닫힘과, 기체운동학 방정식의 모멘트 닫힘(moment closure)에서 발생하는 대수적 닫힘입니다. 첫 번째 부류에 대해, 저자들은 시간 적분, 미해결 스케일(unresolved scales)의 근사, 그리고 미해결 스케일의 효과를 해석된 솔버(resolved solver)와 결합하는 데 필요한 보간(interpolation)의 기여도를 정량화하는 ODE 환경에서의 오차 한계를 유도합니다. Lorenz-63 시스템과 Kuramoto-Sivashinsky 방정식에 대한 수치 실험은 정확한 장기 예측 성능과 LSTM 기반 닫힘 모델 대비 상당한 개선을 보여줍니다. 두 번째 부류에 대해서는 1차원 기체운동학 방정식의 모멘트 닫힘을 다루며, 해석된 거시적 변수의 함수로서 기체운동학적 플럭스와 거시적 플럭스 간의 불일치를 모델링합니다. 주성분 분석(PCA) 좌표에 기반한 전역 KRR 모델과 공간적 국소(spatially local) 모델을 비교합니다. 전역 모델은 단봉형(unimodal) 초기 조건에서는 우수한 성능을 보이지만, 쌍봉형(bimodal) 초기 조건에서는 정확도가 저하됩니다. 반면 적절한 모델링 입력을 갖춘 공간적 국소 모델은 견고성(robustness)을 향상시키며 더 높은 예측 정확도를 달성합니다.

arXiv:2609.39792v2cs.LG

TopTimeNet: 위상학적으로 보조된 시계열 분류 모델

TopTimeNet: Topologically-assisted time-series classification model

시계열에서 주기적 역학과 혼돈 역학을 구별하는 것은 물리학과 공학 모두에서 근본적인 과제입니다. 그러나 엔드투엔드(end-to-end) 학습 기반 아키텍처는 상당한 비용을 들여 데이터로부터 표현과 결정 경계를 모두 찾아내야 합니다. 본 연구에서는 이러한 작업을 분리하는 TopTimeNet을 소개합니다. 고정된 비학습 단계에서 타켄스 지연 임베딩(Takens delay embeddings) 및 지속성 호몰로지(persistent homology)를 통해 $42$차원의 기하학적·위상수학적 기술자를 추출하고, 경량 학습 가능 단계에서 분류를 수행합니다. $49$개의 비선형 동역학계로 구성된 벤치마크에서, $1{,}638$개의 매개변수를 갖는 구성은 $33$배 더 많은 학습 가능한 매개변수를 갖는 구성의 평균 정확도와 일치합니다. 또한, 이 접근법은 세 자리에서 네 자리 수(orders of magnitude)만큼 더 적은 학습 가능 매개변수를 요구하면서도 합성곱 신경망(CNN)에 필적하는 평균 정확도를 제공하고 수렴된 트랜스포머 모델의 평균 성능을 능가합니다. 견고성 또한 노이즈가 유입되는 위치에 크게 좌우됩니다. TopTimeNet은 사전 계산된 특징에 대한 섭동에는 완만하게 저하되지만, 원시 신호에 노이즈가 유입되어 전체 특징 추출 파이프라인이 재계산될 때는 급격히 저하되므로, 사전 계산된 특징의 섭동에 대한 견고성이 원시 신호부터 예측까지 이어지는 전체 파이프라인의 견고성을 의미하지는 않음을 보여줍니다. 이러한 결과는 고정된 기하학적 및 위상수학적 특징 구성을 경량 판별 단계와 분리함으로써 실질적으로 훨씬 적은 학습 가능 매개변수로도 대등한 분류 정확도를 달성할 수 있음을 보여줍니다.

arXiv:2609.09434v2cs.LG

텐서 트레인 기반 약형 SINDy: 고차원 비선형 동역학 식별

Tensor-Train Weak SINDy: Identifying High-Dimensional Nonlinear Dynamics

약형 비선형 동역학 희소 식별(WSINDy)은 수치 미분을 요구하지 않고 데이터로부터 동역학계를 학습하기 위한 노이즈에 강건한 접근법을 제공합니다. 그러나 고차원 시스템의 경우, 후보 함수의 텐서 곱 라이브러리가 상태 차원에 따라 지수적으로 증가하여 표준 WSINDy는 연산 및 메모리 측면 모두에서 비용이 많이 듭니다. 다차원 비선형 동역학 근사(MANDy)는 후보 라이브러리의 텐서 트레인(TT) 표현을 통해 이러한 스케일링 문제를 해결하지만, 희소 모델 선택 메커니즘을 제공하지는 않습니다. 본 연구에서는 이러한 접근법들을 결합하여 약형 변환, 회귀, 희소화를 모두 TT 형식으로 수행하는 TT-WSINDy를 개발합니다. 본 논문에서는 TT 정식화가 이에 상응하는 WSINDy 회귀 문제를 복원함을 보이고, 텐서 트레인 희소화 과정에 대한 다항 시간 및 메모리 복잡도 경계를 유도합니다. 수치 실험을 통해 측정 노이즈에 대한 강건성과 고차원 시스템에서의 연산량 절감 효과를 입증합니다.

arXiv:2110.14961v4cs.LG공식 코드 · Papers with Code

상호작용하는 동적 시스템을 위한 회전-변위 로컬 좌표계

Roto-translated Local Coordinate Frames For Interacting Dynamical Systems

상호작용 모델링은 고도로 비선형적이며 시간에 따라 변하는 동작을 보이는 상호작용 객체 시스템, 즉 복잡한 동적 시스템(dynamical systems)을 학습하는 데 매우 중요합니다. 이러한 시스템의 상당 부분은 기하학적 그래프($\textit{geometric graphs}$), 즉 교통 상황의 차량과 같이 $\textit{임의로}$ 선택된 글로벌 좌표계 하에서 유클리드 공간에 위치한 노드(node)를 갖는 그래프로 정형화될 수 있습니다. 임의의 글로벌 좌표계에도 불구하고, 해당 동적 시스템을 지배하는 동역학은 회전 및 변위(translation)에 대해 불변이며, 이는 갈릴레이 불변성($\textit{Galilean invariance}$)으로도 알려져 있습니다. 이러한 불변성을 무시하면 일반화 성능이 저하되므로, 본 연구에서는 상호작용 동적 시스템의 기하학적 그래프에 회전-변위 불변성을 유도하기 위해 노드 객체별 로컬 좌표계(local coordinate frames)를 제안합니다. 또한, 로컬 좌표계를 통해 그래프 신경망(GNN)에서 비등방성 필터링(anisotropic filtering)을 자연스럽게 정의할 수 있습니다. 교통 상황, 3D 모션 캡처, 충돌 입자에 대한 실험을 통해 제안된 접근 방식이 최근 SOTA(state-of-the-art)를 여유 있게 능가함을 입증합니다.

arXiv:2609.28448v1cond-mat.dis-nn

척력적 셀프 어텐션의 비평형 상: 혼돈, 어텐션 응축, 그리고 창발적 국소성

Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality

본 논문에서는 $N$개의 정규화된 토큰, $Q=K=I$, 그리고 음의 값 맵 $V=-I$를 갖는 최소 순환 트랜스포머(recurrent transformer)의 비평형 동역학을 연구합니다. 유사도 기반 어텐션은 인접한 표현을 선택하는 반면, 음의 값 맵은 선택된 장(field)으로부터 토큰을 밀어냅니다. 이러한 피드백은 표현 기하학과 어텐션 네트워크 모두를 지속적으로 재구성할 수 있습니다. $d=2$일 때 토큰들은 원 위에 놓이며, 정다각형은 정확한 고정점이 됩니다. 어텐션 피드백 강도 $\gamma$가 증가함에 따라 정다각형은 플립 분기(flip bifurcation)를 통해 안정성을 잃고, 주기 2(period-two) 운동, 혼돈(chaos), 그리고 클러스터 교환 또는 클러스터 플립 상태를 발생시킵니다. 이러한 시간적 복잡성에도 불구하고, 유한하고 고정된 소프트맥스 첨예도 $\beta$에서 $N\to\infty$일 때 어텐션은 확산된(diffuse) 상태를 유지합니다. 대신 어텐션 응축은 $\beta\sim N^2$ 스케일링 체제에서 창발합니다. 하드 라우팅 극한에서는 척력적 업데이트가 국소 섭동을 증폭하고 라우팅 파트너 전환이 이를 탄도학적으로 전달하여, 표현 공간에서 창발적인 버터플라이 콘(butterfly cone)을 형성합니다. 고차원 기하학은 국소화로 향하는 별도의 경로를 제공합니다. $d=N\to\infty$의 경우, 가우시안 초기 조건에서의 시뮬레이션은 동적으로 생성된 유한한 중첩 간극에 의해 유도되는 $\beta=O(1)$에서의 응축 전이(condensation transition)에 대한 증거를 제시합니다. $\gamma$에 따라 나타나는 상에는 확산된 단체형(simplex-like) 상태, 합의 플립(consensus flips), 혼돈의 징후를 보이는 응축된 활성 라우팅, 파편화된 클러스터 플립이 포함됩니다. 이러한 결과는 시간적 활성, 어텐션 응축, 기하학적 클러스터링이 서로 구별되는 집합적 현상임을 규명하며, 희소 어텐션(sparse attention)이 동역학을 동결시키기보다는 지속적인 동역학을 유지할 수 있음을 보여줍니다.

arXiv:2609.27186v1cs.LG

산일 시스템을 위한 데이터 기반 이산 시간 딥 순환 신경망 기반 모델링

Data-driven discrete-time deep recurrent neural network-based modeling for dissipative systems

물리 인공지능(Physical AI)은 실세계의 동역학을 더 잘 이해하고 예측하며 제어하는 AI 시스템을 개발하는 데 기여하며 점점 더 많은 주목을 받고 있습니다. 이를 달성하기 위해서는 높은 예측 정확도를 달성할 뿐만 아니라 동역학 시스템의 근본적인 물리적 특성을 보존하는 AI 모델이 필요합니다. 본 논문에서는 구조적 가중치 제약과 전용 학습 알고리즘을 통해 안정성 및 에너지 산일(energy dissipation)과 관련된 핵심 특성인 산일성(dissipativity)을 명시적으로 강제하는 딥 이산 시간 산일 순환 신경망(DissipNet)을 제안합니다. 구조적 설계에 의해, 제안된 신경망은 고유한 안정성을 보존하면서 산일 동역학을 학습할 수 있으며, 이는 랴푸노프 이론(Lyapunov theory)을 사용하여 엄밀하게 분석됩니다. 지배 방정식을 학습 손실에 반영하지만 산일성이나 수동성(passivity)과 같은 내부 해석적 특성의 보존을 보장하지 않는 물리 정보 신경망(PINN)과 달리, 본 접근 방식은 모델 수준에서 안정성에 대한 명시적인 보장을 제공합니다. 우리는 여러 모델링 응용 사례를 통해 제안된 방법의 효과를 입증하고, 나이브 순환 신경망(RNN) 및 PINN 기반 모델과 성능을 비교합니다.

arXiv:2609.26972v1cs.LG

TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식

TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching

범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.

arXiv:2609.25085v1stat.ML

FREESIA: 표현력 있고 확장 가능한 데이터 동화를 위한 공분산 인식 사후 수송

FREESIA: Covariance-Aware Posterior Transport for Expressive and Scalable Data Assimilation

데이터 동화(Data assimilation)는 관측 데이터를 기반으로 복잡한 동적 시스템의 상태를 추론(inference)하는 것을 목표로 합니다. 그러나 고차원 및 희소 관측 조건에서는 비선형 또는 비단사(non-injective) 관측 연산자로 인해 유도되는 다봉(multimodal) 사후확률을 정확하게 추론하는 것이 여전히 주요한 과제로 남아 있습니다. 앙상블(ensemble) 필터는 고차원으로 확장 가능하지만 제한적인 분포 가정에 얽매여 있으며, 무학습(training-free) 생성형 필터(예: EnSF, EnFF)는 이러한 한계를 완화하지만 희소 관측 상황에서 구조적 오류를 유발하고 정보 전파를 저해할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 무학습 방식의 점근적으로 정확한 사후 수송(posterior transport) 방법을 제안합니다. 먼저, 예측 교차 공분산(cross-covariance)을 흐름 기반(flow-based) 수송에 임베딩하여 비가우시안(non-Gaussian) 사후 구조를 보존하면서 관측되지 않은 상태를 정확하게 복원하는 공분산 인식(covariance-aware) 사후 수송 체계를 설계합니다. 나아가, 이 방법은 다루기 쉬운 관측 적응형 제안 분포와 사후 보정을 결합하여 비선형 사후 분포의 정확한 근사를 보장합니다. 마지막으로, 우리는 해당 사후 흐름 이론을 정립하고, 이를 통해 유한 앙상블 대리 모델 대비 제안된 방법의 점근적 정확성과 바서슈타인(Wasserstein) 오차 한계를 도출합니다. Double-Well, Lorenz-96, 그리고 Kolmogorov 흐름에 대한 실험은 제안된 방법이 복잡한 사후 구조를 포착하고 희소, 비선형, 비단사 관측 조건에서도 정확성을 유지함을 보여줍니다. 특히 희소 비단사 설정에서는 최고 성능의 기준선(baseline) 대비 RMSE를 56% 감소시킵니다.

arXiv:2607.22609v1cs.AI

동역학 시스템에 대한 해석 가능한 제어기로서 LLM 평가

Evaluating LLMs as Interpretable Controllers for Dynamical Systems

대규모 언어 모델(LLM)은 의사결정 및 추론 작업에 점점 더 많이 사용되고 있지만, 물리 시스템의 제어기로서의 잠재력은 아직 거의 탐구되지 않았다. 본 연구는 LLM이 동적 열 환경에 대한 해석 가능한 제어기로 기능할 수 있는지 조사하며, setpoint 추종, 자연어 명령 해석, 액추에이터(actuator) 효과에 대한 추론, 사전 모델 기반 지식의 통합 능력을 검토한다. 다양한 규모의 LLM 5개를 히터 또는 팬 사용에 대한 페널티가 있는 설정과 모델이 물리 기반 예측 도구에 접근할 수 있는 경우를 포함한 여러 시나리오에서 평가한다. 결과는 제어 성능이 모델 복잡도에 달려 있음을 보여준다. 저·중규모 모델은 액추에이터 동역학을 자주 오해하거나 일관성 없는 추론을 생성하는 반면, Qwen-3~14B 및 GPT-4o와 같은 고복잡도 모델은 정확한 온도 추적, 안정적인 액추에이터 사용, 물리 원리와 일치하는 일관된 설명을 달성한다. 물리 기반 모델을 통합하면 예측적 의사결정을 가능하게 하여 제어의 부드러움과 에너지 효율이 크게 향상된다. 상세한 추론 분류체계는 소형 모델의 인과적 오해에서 대형 모델의 응집적이고 시간적으로 인식된 추론으로의 뚜렷한 진행을 추가로 보여준다. 이 결과는 LLM이 충분한 능력을 갖추고 도메인 지식에 적절히 그라운딩(grounding)될 때 해석 가능한 제어기로 작동할 수 있음을 보여주며, 그럴듯한 설명을 제공할 수 있는 하이브리드 모델 기반 및 언어 기반 제어 전략의 유망한 가능성을 강조한다.

arXiv:2607.22399v1stat.ML

유한 궤적로부터 에르고딕 동역학 시스템 학습

Learning Ergodic Dynamical Systems from a Finite Trajectory

우리는 에르고딕(ergodic) 확률적 동역학 시스템의 단일 유한 궤적로부터 학습하는 문제를 고려한다. 더 구체적으로, 시간 동질(time-homogeneous) 마르코프(Markov) 과정을 정의하는 이산 시간 자율 확률 시스템을 연구한다. 먼저 비선형 최소자승법(nonlinear least squares)으로 최적 1-단계 예측 함수를 추정하고, 과정의 불변 측도(invariant measure)에 대해 측정된 높은 확률 보장(high-probability guarantees)을 도출한다. 이러한 결과는 궤적 데이터의 비독립적·비동일분포적 특성이 고전적 통계적 학습 분석을 어떻게 수정하는지를 명시적으로 보여준다. 그런 다음 이 프레임워크를 고차 시스템과 유한 상태 공간으로 확장한다. 마지막으로, 동일한 최소자승법과 농도(concentration) 논증이 쿠프만 연산자(Koopman operator) 학습으로 자연스럽게 확장됨을 보인다. 우리의 접근법은 통계적 학습 이론과 마르코프 사슬에 대한 정량적 에르고딕 이론의 도구를 결합한다. 특히, 균일 기하학적 에르고딕(uniformly geometrically ergodic) 마르코프 사슬의 힐베르트 공간 값 가법 함수(additive functional)에 대한 농도 부등식(concentration inequality)에 의존한다.

arXiv:2607.21833v1stat.ME

향상된 인과 전방향 네트워크 재구성(RECON)

Reconstruction of Enhanced Causal Omnidirectional Network (RECON)

동역학 시스템을 학습하고 $p$개의 이산적으로 관측된 상태 궤적로부터 기저 조절 네트워크를 재구성하는 것은 여전히 어려운 문제이다. 기존 접근법은 종종 많은 수의 허위 엣지를 생성하고 여러 방법론적 한계를 겪었다. 우리는 적분 기반 가법적 비모수 ODE 모델을 활용하여 $p$개의 시계열 데이터로부터 조절 네트워크를 재구성하는 새로운 접근법인 향상된 인과 전방향 네트워크 재구성(RECON)을 제안한다. RECON은 다섯 가지 방법론적 발전을 포함한다. 첫째, 진짜 조절 엣지는 보존하면서 허위 엣지를 실질적으로 줄이는 새로운 데이터 기반 엣지 선택 절차를 포함한다. 둘째, 단순한 통계적 연관이나 노이즈 아티팩트가 아니라 인과적 조절 관계를 포착하는 전방향 네트워크를 재구성한다. 셋째, 조밀한 규칙적 및 희소한 불규칙적 종단 샘플링 시나리오를 모두 수용함으로써 표준 ODE 기반 접근법의 적용 범위를 실질적으로 넓힌다. 넷째, 노드 궤적과 엣지 조절 효과 모두를 시변 함수로 모델링하여 동적 조절 네트워크를 강조한다. 다섯째, 부호 및 가중치가 있는 조절 네트워크를 재구성하고, 양방향 방향, 활성화/억제 지표, 강도와 함께 키스톤 노드 식별 및 위상 구조를 통해 포괄적인 네트워크 해석을 제공한다. 다섯 가지 시뮬레이션 연구에서 RECON은 거의 모든 허위 엣지를 제거하면서 거의 모든 진짜 조절 엣지를 유지하여 매우 정확한 네트워크 재구성을 달성함으로써 GRADE를 일관되게 능가한다. 가장 어려운 시나리오에서 허위 엣지의 수는 239개에서 0개로 줄어든다.

arXiv:2607.21805v1math.DS

혼돈적 게임 동역학을 위한 자연 불변 측도: 혼돈 속 질서 찾기

Natural Invariant Measures for Chaotic Game Dynamics: Finding Order in Chaos

MWU(Multiplicative Weights Update) 알고리즘의 게임 설정에서의 장기 행동을 연구한다. 이러한 설정에서는 학습 동역학이 내시 균형(Nash equilibria)으로 수렴하지 못하고 대신 Li-Yorke 혼돈을 보이는 경우가 빈번하다. 이러한 혼돈은 특정 장기 전략 프로필의 예측을 배제하지만, 통계적 구조가 없음을 의미하지는 않는다. 우리는 에르고딕 이론(ergodic theory)의 근본 개념인 자연 불변 측도(natural invariant measures)가 이러한 혼돈 속에서 질서를 찾는 데 필요한 엄밀한 틀을 제공함을 보인다. 2-전략 혼잡 게임(congestion game)에 초점을 맞춰, 이러한 측도가 동역학의 포괄적인 통계적 특성화를 가능하게 함을 증명한다. 중요하게도, 이 틀이 단순한 전략 빈도를 넘어 \emph{general observables}로 확장됨을 보이며, 혼돈에도 불구하고 보수(payoffs), 사회적 비용(social cost), 후회(regret) 등 광범위한 경제 지표 클래스에 대한 장기 시간 평균의 정밀한 계산이 가능함을 보인다. 우리의 결과는 이 단순한 학습 알고리즘이 일차원 동역학계에서 발견되는 행동의 전체 스펙트럼—고유 또는 다중의 절대연속 불변 측도부터 복잡한 주기적 attractor까지, 혼돈적 행동과 안정적(주기적) 행동이 공존하는 경우까지—을 포착함을 보여준다. 게임 이론과 동역학계를 연결함으로써, 점별(pointwise) 수렴이 없는 경우에도 통계적 예측 가능성을 달성할 수 있음을 보인다.

arXiv:2505.00473v2cs.LG

공간 강화 Temporal Fusion Transformer: 시변 입력을 갖는 매개변수 동적 시스템의 해석 가능한 다중 출력 예측

Spatially-Enhanced Temporal Fusion Transformer: Interpretable Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs

본 연구는 외부 시변 입력 신호를 갖는 매개변수 동적 시스템의 출력을 예측하는 데 있어 트랜스포머 모델의 유망한 성능을 탐구한다. 이러한 시스템의 출력은 물리적 매개변수뿐 아니라 외부 시변 입력 신호에 따라 달라진다. 이러한 시스템의 역학을 정확히 포착하는 것은 어렵다. 우리는 단일 출력 예측을 위한 기존 트랜스포머 모델인 temporal fusion transformer(TFT)를 개조·확장하여, 이러한 시스템의 다중 출력 응답을 예측할 수 있는 다중 출력 트랜스포머인 Spatially-Enhanced Temporal Fusion Transformer(SE-TFT)를 제안한다. SE-TFT는 원래 TFT 모델의 해석 가능성을 일반화한다. 일반화된 해석 가능한 어텐션 가중치 행렬은 시퀀스 내 시간적 상관뿐 아니라 다중 출력 간 상호작용도 탐색하여, 출력 영역의 공간적 상관에 대한 설명을 제공한다. 제안된 SE-TFT는 시스템의 비선형성과 매개변수 공간의 차원과 무관하게 다중 출력의 시퀀스를 정확히 예측한다.