본 논문에서는 데이터로부터 기계 시스템의 보존 동역학(conservative dynamics)과 소산 동역학(dissipative dynamics)을 직접 분리하여 학습하는 연속 시간 시스템 식별 기법인 소산 라그랑주 신경망(Dissipative Lagrangian Neural Network, dLNN)을 제안한다. 핵심 기여는 소산력에 대한 새로운 매개변수화로, (i) 구조적으로 소산성을 띠도록 제약되어 학습된 모델의 수동성(passivity)을 강제하고, (ii) 보존역학을 흡수할 수 없으며, (iii) 상태 의존적 감쇠 및 정규화된 마찰력을 아우르는 광범위한 계열을 표현할 수 있을 만큼 충분한 표현력을 유지한다. 제안된 모델은 혼돈 이중 진자의 궤적 예측과 6자유도 산업용 로봇의 역동역학 모델링이라는 두 가지 실제 기계 시스템에 대한 예측 태스크를 통해 검증되었다. 이러한 태스크 전반에 걸쳐 dLNN은 기존 라그랑주 아키텍처 대비 향상된 예측 성능을 입증하는 동시에 블랙박스 신경망 모델과도 경쟁력 있는 성능을 유지한다. 또한 부여된 물리적 구조는 보지 못한 상태에 대한 일반화 성능을 향상시키며, 이러한 이점은 학습 데이터가 제한적일 때 특히 두드러진다. 마지막으로, 학습된 물리적 구성 요소로부터 닫힌 형식(closed-form)의 수식을 추출하는 기호 증류(symbolic distillation) 절차를 소개한다. 이를 산업용 로봇에 적용한 결과, 신경망 라그랑주 모델 평가와 관련된 연산 오버헤드를 줄이면서도 높은 예측 정확도를 유지하는 해석 가능한 기호 모델을 생성한다.
전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.
많은 공학 문제에는 지배 방정식이 불충분하게 특성화되었거나 부분적으로만 알려진 현상이 포함된다. 신경망과 같은 대리 모델링(surrogate modeling) 기법은 이러한 시스템의 거동을 포착할 수 있지만, 일반적으로 공학 환경에서 얻기 어려운 대규모 학습 데이터셋을 요구하며 물리적 해석 가능성이 제한된 모델을 산출한다. 비선형 동역학 희소 식별(SINDy) 방법은 후보 비선형 항들의 라이브러리에 대해 희소 회귀(sparse regression)를 수행함으로써 두 한계를 모두 해결하며, 비교적 작은 데이터셋으로부터 해석 가능한 지배 방정식을 복원한다. SINDy는 표준 벤치마크 시스템에서 광범위하게 시연되었지만, 실용적 공학 문제에 대한 적용은 덜 널리 문서화되어 있다. 본 튜토리얼은 SINDy 방법을 소개하고, 노이즈 견고 약형(weak-form) 및 앙상블 기반 변형부터 제약 및 매개변수화 가능한 formulation까지 주요 확장으로 점진적으로 나아간다. 본 논문과 동반 튜토리얼(https://github.com/paullililili/SINDy4Engineers)은 세 부분으로 구성된다: 첫 번째 부분은 표준 SINDy 알고리즘을 소개하고 점진적으로 확장하며, 사전 지식이 없는 독자도 각 단계를 따라가 자신의 문제에 방법을 적용할 수 있도록 한다; 나머지 두 부분은 (1) 무인 항공기(UAV)의 시스템 식별과 (2) 혼돈 thermosyphon 열교환기에 대한 상세 사례 연구를 제시한다. 이러한 예시를 통해 SINDy가 구현은 간단하면서도 고급 공학 응용을 위한 유용한 식별 도구로서 충분히 유연함을 보여 주는 것을 목표로 한다.
단일 궤적 샘플로부터 선형 동역학 시스템의 시스템 행렬 $A^*$를 유한 시간 내에 식별하는 문제에서, 사전 구조 정보를 볼록 집합 $\mathcal{K}$로 모델링한 제약 최소제곱 추정량의 비점근 오차 경계를 도출한다. 희소성, 부분공간, 볼록 회귀, Lipschitz 회귀 등 네 가지 구조적 사례에 적용하여, 비제약 설정 대비 훨씬 적은 샘플 수 $T$로도 $A^*$를 신뢰성 있게 추정할 수 있음을 보인다.
역산란 변환(IST)의 개념적 프레임워크와 약형식(weak-form) 시스템 식별 방법을 결합하여, 산란 방정식에 대한 사전 지식 없이 관측된 산란 데이터로부터 솔리톤 동역학을 직접 학습하는 데이터 기반 방법을 제안한다. Korteweg–de Vries형 천수 방정식을 따르는 합성 및 실험 데이터에서 표준 IST 이론과 일치하는 해석 가능한 저차원 모델을 복원하며, 섭동 및 근가적분(near-integrable) 체계에서도 유효함을 검증한다.
불완전한 물리 사전에서 비선형 시스템 식별 시 SINDy의 편향을 줄이기 위해, 희소 매개변수 선택(화이트 박스)과 가우시안 과정(GP) 불일치 학습(블랙 박스)을 직교 불일치 커널로 결합한 반모수적 그레이박스 프레임워크를 제안한다. 수치 예제에서는 예측 정확도는 비직교 GP와 유사하지만, 직교 GP가 관련 기저 함수를 더 정확히 선택해 해석 가능성이 더 높다.
노이즈가 있는 궤적 관측에서 일반화된 해밀토니안을 학습하기 위해 암시적 쌍대 적분기(symplectic integrator) 기반 HNN에 인접 시스템(adjoint system)의 쌍대 이산화를 적용해 역전파 없이 효율적으로 파라미터를 학습하고, 예측자-수정자(predictor-corrector) ODE 솔버와 고정점 반복으로 계산 비용을 줄인다. 비분리(non-separable) 혼돈 시스템에서 시스템 식별과 에너지 보존에서 수치적 이점을 보였으며, 역오차 분석(backward error analysis) 후처리로 참 해밀토니안에 대한 근사 정확도를 높인다.
희소하고 불규칙하게 샘플링된 복수의 데이터셋에서 동역학 시스템(dynamical systems) 파라미터를 추정하는 문제를 다루며, 데이터셋별 파라미터를 공유 모집단 분포에서의 샘플로 모델링하는 계층적 베이지안(Hierarchical Bayesian) 메타학습 프레임워크를 제안한다. 미분방정식(ODE) 수치 솔버를 그래디언트 기반 MCMC(No-U-Turn Sampler)에 내장하여 효율적인 사후 추론을 가능하게 하였으며, Lotka-Volterra 벤치마크 실험에서 비풀링(unpooled) 방법 대비 예측 성능이 크게 향상됨을 보였다.
유계 대칭 로그-오목(log-concave) 교란 하의 이산 시간 이중선형(bilinear) 시스템에 대해 궤적 의존 회귀 변수와 한계적 안정 동역학을 허용하는 유한 샘플 집합 멤버십(set-membership) 동정 프레임워크를 제안한다. 추정 오차 ε에 대해 실행 가능 매개변수 집합의 지름이 샘플 복잡도 Õ(1/ε)로 수축함을 증명했으며, 시뮬레이션으로 불확실성 정량화(uncertainty quantification) 이점을 확인했다.
반복적인 노이즈가 포함된 주파수 영역 측정값으로부터 Loewner 행렬의 핵노름 정규화와 세미데피니트 프로그램(semidefinite program) 기반 안정성 제약을 결합한 저차 시스템 주파수 응답 추정기를 제안하고, 샘플링된 주파수에서의 유한 샘플 오차 상계를 유리 보간(rational interpolation)으로 전 주파수로 확장한다. 이 상계는 반복 실험 횟수, 주파수 점 수, 시스템 차수, 노이즈 수준에 대한 의존성을 특성화하며, SISO 및 MIMO 수치 실험에서 저차 촉진 효과와 예측된 스케일링 법칙을 검증한다.
온보드 측정에 기반한 현장 기반 모델링은 실제 운용 특성을 반영하는 자율 수중 운동체(AUV) 기동 모델을 생성할 수 있습니다. 근사 관점에서 볼 때, 기존 기동 모델은 미리 정의된 제약 다항식 기저를 사용하는 반면, 데이터 기반 모델은 데이터 적응형 기저를 사용합니다. 이러한 기저 함수 관점에서 동기를 얻어, 본 논문은 미분 가능한 복합 근사 정식화를 제시합니다. 여기서 다항식 기저 구성 요소와 데이터 적응형 기저 구성 요소는 단일 예측기의 미분 가능한 부분으로 처리되어 공동으로 보정됩니다. 실물 규모 AUV 기동 예측을 위해 그래디언트 기반 공동 보정 방법이 개발되었으며, 여기서 민감도 인식 메커니즘은 유계 다항식 업데이트를 조절하는 반면, 신경망 잔차는 공유된 예측 목표 하에서 남은 비선형 불일치를 포착합니다. 현장 데이터의 해류 효과를 고려하기 위해, 선회 운동 기반 해류 추정 및 보정 절차를 통합하여 학습 및 롤아웃을 위한 해류 보정된 학습 타겟을 구성합니다. 이 프레임워크는 다양한 기동 조건에서 7미터 AUV로부터 수집된 해상 시험 데이터를 사용하여 평가되었습니다. 결과는 제안된 방법이 다항식 전용, 신경망 전용, 고정 사전 하이브리드 기준 모델과 비교하여 재귀적 궤적 및 속도 예측을 향상시킴을 보여주며, 현장 데이터 기반 AUV 기동 모델링에 대한 적용 가능성을 입증합니다.
대부분의 동적 시스템 학습 아키텍처는 범용적인 비선형 함수 근사에 의존하며, 구조화된 동작을 포착하기 위해 종종 높은 모델 복잡도를 요구합니다. 본 연구에서는 모델링 능력이 표현력 있는 비선형성보다는 주로 구조에서 비롯되는 대안적 패러다임을 제안합니다. 내부 상태를 가진 파동 기반의 상호작용 구조를 바탕으로, 명시적 구조화 동적 유닛(explicit structured dynamical units) 클래스를 도입합니다. 파동 기반 계산 원리에서 영감을 받은 제안된 유닛은 대수적 루프(algebraic loops)를 배제하는 엄격한 인과적 구성을 채택하여, 암시적 솔버(implicit solvers) 없이 평가할 수 있는 완전히 명시적인 모델을 산출합니다. 이러한 유닛을 적층하면 창발적 계층적 동작을 보이는 계층형 동적 아키텍처가 생성됩니다. 비선형 시스템 식별(nonlinear system identification) 작업에 대한 실험을 통해, 제한된 매개변수 최적화 하에서도 깊이가 표현 품질과 일반화를 모두 향상시킴을 입증합니다. 특히, 제안된 아키텍처는 리드아웃(readout) 전용 피팅(fitting) 조건에서도 유의미한 내부 표현을 생성하며, 이는 유용한 동적 구조가 상당한 매개변수 최적화 이전에 상호작용의 구성으로부터 창발됨을 시사합니다. 이러한 결과는 구조 우선 설계(structure-first design)가 동적 시스템 학습을 위한 기존 블랙박스 접근법에 대해 실행 가능하고 효과적인 대안이 될 수 있음을 시사하며, 상호작용 구조가 모델 표현력의 주요 원천임을 강조합니다.
본 연구는 자유 주행 시뮬레이션에서 생성된 CFD 데이터로부터 선박 유체력 계수를 식별하기 위한 지도 학습 기법을 조사합니다. 구체적으로, 일반 최소제곱법(OLS)과 정규화 회귀 방법을 Abkowitz 유형의 기동 모델에 적용합니다. 학습 및 검증 데이터셋은 지그재그 및 선회 기동에 대한 URANS 시뮬레이션 결과에서 도출되었으며, 실험용 벤치마크 데이터를 통해 검증되었습니다. 본 분석은 계수 집합의 크기, 예측 모델 학습에 필요한 최소 학습 길이, 그리고 기동 조합이 모델 성능에 미치는 영향을 평가합니다. 결과에 따르면, 적절한 계수 선택, 회귀 모델 또는 입력 데이터 변동성을 통해 다중공선성이 해결된다면 대각 지그재그 기동이 유체력 시스템 식별에 적합함을 보여줍니다. 더 큰 계수 집합은 가변 조건에 대한 모델 유연성을 높여주지만, 다중공선성에 더 취약합니다. 정규화 회귀 기법은 다중공선성을 효과적으로 완화하고 예측 정홅도를 현저히 향상시키는데, 더 다양한 기동 데이터를 포함하는 것 또한 동일한 효과를 보입니다. 테스트된 모델 중 릿지 회귀(Ridge regression)가 계산 효율성과 예측 정홅도 사이에서 최상의 절충안을 제공했습니다.
잡음이 섞인 고차원 측정값에서 잠재 역학 시스템을 식별하는 다중 뷰 시간적 대조 학습 알고리즘인 DYSCO를 통해 잠재 궤적과 지배 방정식을 공동으로 복원한다. 구조화된 기능 기반을 활용해 기호적 복원을 가능하게 하며, 다양한 역학 체제와 잡음 환경에서 정확한 성능을 입증했다.
이 원고는 비선형 시스템 식별을 위한 새롭게 정의된 이차 임베딩 방법(QENDy)의 적분 공식화를 제안합니다. 기존 알고리즘에서는 궤적 데이터 포인트와 그 시간 미분값이 함께 사용됩니다. 시간 미분값을 계산하는 방법은 알고리즘이 노이즈에 민감해지게 만듭니다. 우리의 적분 공식화는 시간 미분값을 사용하지 않습니다. 이는 동역학을 학습하는 더 강건한 방법으로 이어집니다.