arXiv:2611.00448v1 cs.LG

속도 정합을 통한 진화 학습

Learning to evolve by matching velocities

Nicola Farenga, Andrea Manzoni

제출 2026-11-03

한국어 초록

비선형 동역학계의 연속 시간 진화를 학습하는 일은 궤적 기반 목적함수에 의존하는데, 이는 학습 중 학습된 동역학을 시뮬레이션하고 수치 기법을 통해 역전파해야 하며 그 비용이 롤아웃 horizon에 따라 증가한다. 본 논문은 롤아웃 horizon이 늘어날수록 궤적 기반 목적함수가 퇴화하여 경사 기반 최적화를 저해하며, 수치 기법이 학습된 야코비안의 스펙트럼을 절대 안정 영역으로 제약함으로써 학습된 동역학에 편향을 일으킴을 보인다. 이러한 한계를 극복하기 위해 구간별 선형 보간과 확률적 콜로케이션에 기반하여 샘플링 간격에 대해 2차까지 속도 모집단 위험을 근사하는 시뮬레이션 불필요 목적함수인 속도 정합(Velocity Matching, VM)을 제안한다. 우리는 속도 기반 학습을 위한 이론적 틀을 구축하고, 속도 오차로 궤적 오차를 제어하는 안정성 추정을 도입하여, 학습된 속도장이 심층 신경망으로 매개화될 때의 보편 근사 및 연속 시간 근사 결과를 증명한다. VM 목적함수의 편향-분산 분해를 바탕으로, 속도 모집단 위험에 대한 VM의 고차 근사가 일치 최소화자를 제공하고, A-안정 연속 스테이지 Runge-Kutta 기법의 잔차와 관련되어 암시적 풀이 없이도 VM을 암시적 적분과 연결하며, 기저 속도장이나 그 야코비안에 접근하지 않고도 관측된 궤적을 따라 학습된 야코비안의 작용을 참 야코비안의 작용에 암묵적으로 정합시킴을 보인다. 비선형 상미분방정식과 반이산화된 시간 의존 편미분방정식에 대한 수치 실험에서 VM은 궤적 기반 목적함수보다 정확도를 개선하면서 시뮬레이션 비용과 긴 롤아웃의 불안정성을 모두 피한다.

원문 초록

Learning the continuous-time evolution of nonlinear dynamical systems relies on trajectory-based objectives, which require simulating the learned dynamics during training and backpropagating through the numerical scheme, at a cost that grows with the rollout horizon. We show that trajectory-based objectives degenerate as the rollout horizon increases, hindering gradient-based optimization, and that the numerical scheme biases the learned dynamics by constraining the spectrum of the learned Jacobian to its absolute stability region. To overcome these limitations, we introduce Velocity Matching (VM), a simulation-free objective that relies on piecewise-linear interpolation and stochastic collocation, and approximates the velocity population risk to second order in the sampling step. We develop a theoretical framework for velocity-based learning, introducing stability estimates that control trajectory errors in terms of velocity errors, which enable us to establish universal and continuous-time approximation results when the learned velocity field is parameterized by deep neural networks. Building on a bias-variance decomposition of the VM objective, we show that its higher-order approximation of the velocity population risk yields a consistent minimizer; that it relates to the residual of an A-stable continuous-stage Runge-Kutta scheme, thus connecting VM to implicit integration without requiring any implicit solve; and that it implicitly matches the action of the learned Jacobian to that of the true one along the observed trajectories, without requiring access to the underlying velocity field or its Jacobian. Numerical experiments on nonlinear ordinary differential equations and semi-discretized time-dependent partial differential equations show that VM improves accuracy over trajectory-based objectives, while avoiding both the cost of simulation and the instabilities of long rollouts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.00448v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.