수동적 기계 시스템의 해석 가능한 모델링을 위한 소산 라그랑주 신경망
Dissipative Lagrangian Neural Networks for the Interpretable Modelling of Passive Mechanical Systems
한국어 초록
본 논문에서는 데이터로부터 기계 시스템의 보존 동역학(conservative dynamics)과 소산 동역학(dissipative dynamics)을 직접 분리하여 학습하는 연속 시간 시스템 식별 기법인 소산 라그랑주 신경망(Dissipative Lagrangian Neural Network, dLNN)을 제안한다. 핵심 기여는 소산력에 대한 새로운 매개변수화로, (i) 구조적으로 소산성을 띠도록 제약되어 학습된 모델의 수동성(passivity)을 강제하고, (ii) 보존역학을 흡수할 수 없으며, (iii) 상태 의존적 감쇠 및 정규화된 마찰력을 아우르는 광범위한 계열을 표현할 수 있을 만큼 충분한 표현력을 유지한다. 제안된 모델은 혼돈 이중 진자의 궤적 예측과 6자유도 산업용 로봇의 역동역학 모델링이라는 두 가지 실제 기계 시스템에 대한 예측 태스크를 통해 검증되었다. 이러한 태스크 전반에 걸쳐 dLNN은 기존 라그랑주 아키텍처 대비 향상된 예측 성능을 입증하는 동시에 블랙박스 신경망 모델과도 경쟁력 있는 성능을 유지한다. 또한 부여된 물리적 구조는 보지 못한 상태에 대한 일반화 성능을 향상시키며, 이러한 이점은 학습 데이터가 제한적일 때 특히 두드러진다. 마지막으로, 학습된 물리적 구성 요소로부터 닫힌 형식(closed-form)의 수식을 추출하는 기호 증류(symbolic distillation) 절차를 소개한다. 이를 산업용 로봇에 적용한 결과, 신경망 라그랑주 모델 평가와 관련된 연산 오버헤드를 줄이면서도 높은 예측 정확도를 유지하는 해석 가능한 기호 모델을 생성한다.
원문 초록
In this paper, we propose the Dissipative Lagrangian Neural Network (dLNN), a continuous-time system identification technique that separately learns the conservative and dissipative dynamics of a mechanical system directly from data. A key contribution is a novel parametrisation of dissipative forces that (i) is structurally constrained to be dissipative, enforcing passivity of the learned model, (ii) cannot absorb conservative mechanics, and (iii) retains sufficient expressivity to represent a broad family of state-dependent damping and regularised friction forces. The model is validated on prediction tasks on two real-world mechanical systems: trajectory prediction of a chaotic double pendulum and inverse-dynamics modelling of a six-degree-of-freedom industrial robot. Across these tasks, the dLNN demonstrates improved predictive performance over existing Lagrangian architectures while remaining competitive with a black-box neural model. The imposed physical structure also improves generalisation to unseen states, with the benefits becoming particularly pronounced when training data is limited. Finally, we introduce a symbolic distillation procedure that extracts closed-form expressions from the learned physical components. Applied to the industrial robot, this produces interpretable symbolic models that retain high predictive accuracy while reducing the computational overhead associated with evaluating neural Lagrangian models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잔차 보정 불확실성을 갖춘 무해 물리 정보 기반 역학습
No-Harm Physics-Informed Inverse Learning with Residual-Calibrated Uncertainty
물리 정보 기반 학습(physics-informed learning)은 편미분방정식(PDE)이 지배하는 역문제(inverse problem)에 점점 더 많이 사용되고 있지만, 그 신뢰성을 보증하기는 여전히 어렵다. 본 논문은 물리 정보 기반 역학습(inverse learning)을 위한 무해(no-harm) 인증 및 선택 프레임워크를 제안한다. 학습된 재구성(reconstruction)은 잔차 보정 반경(residual-calibrated radius)이 기준선(baseline) 반경보다 나쁘지 않을 때, 즉 $$R_{\mathrm{learn}}\le R_{\mathrm{base}}+\varepsilon_{\mathrm{safe}};$$일 때만 채택되며, 그렇지 않으면 방법은 기준선을 반환한다. 인증서(certificate)는 데이터, 물리, 경계 또는 초기 조건, 그리고 최적화 잔차를 결합한다. 조건부 안정성 추정 하에서, 이러한 잔차들은 사후적(a posteriori) 재구성 오류 경계와 결정론적(deterministic) 불확실성 반경을 제공한다. 독립적인 무작위 collocation 점들로부터 추정된 물리 잔차에 대해서도 고확률(high-probability) 인증서가 유도된다. Poisson 소스 복원, 역 열 재구성, 제한각 단층촬영(limited-angle tomography), 타원형 계수 식별, 그리고 확률적 잔차 검증(validation)에 대한 수치 실험은 선택기(selector)가 인증된 개선을 수용하고, 편향·환각(hallucinated)·미완성 후보를 거부하며, 강하게 ill-posed인 영역에서는 보수적으로 동작함을 보여준다. 따라서 이 프레임워크는 또 하나의 재구성 아키텍처가 아니라 인증 및 선택 층(layer)이다.
시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증
In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.
GridSFM: 교류 최적 조류 계산 해결을 위한 파운데이션 모델
GridSFM: A Foundation Model for Solving AC Optimal Power Flow
본 논문에서는 다양한 전력망 토폴로지에 걸쳐 사전학습된 파운데이션 모델과 물리 정보 기반 미세조정(fine-tuning)을 결합하여 대규모 교류 최적 조류 계산(AC-OPF)을 해결하는 프레임워크인 GridSFM을 소개합니다. 이 모델은 500개에서 4,000개 모선(bus) 규모의 54개 토폴로지에서 사전학습된 1,500만 개 매개변수 규모의 물리 영감 그래프 신경망(GNN)입니다. 본 모델은 홀드아웃된 운전 조건의 10,000개 모선 사례에서 제로샷(zero-shot) 발전 비용 오차 2.45%를 달성하며, 시스템 규모가 커져도 성능 저하가 발생하지 않습니다. 이를 바탕으로 사전학습된 백본을 조류 계산용 뉴턴 방법(Newton's method) 기반의 물리 정보 미세조정 설계와 결합합니다. GridSFM은 단 100개의 풀이된 인스턴스만으로도 최대 10,000개 모선 규모의 미확인 전력망에 적응합니다. 또한 웜 스타트(warm start) 지점으로 활용될 때, 더 많은 데이터로 학습된 단일 토폴로지 전용 신경망 모델보다 비용과 솔버 반복 횟수 측면 모두에서 우수한 성능을 보임을 입증합니다. 이러한 파운데이션 모델을 설계하는 과정에서, 연속 신경망이 해 매핑을 근사하는 것을 가로막는 장애 요소인 AC-OPF의 실행 가능 집합이 비연결(disconnected)될 수 있다는 문제를 극복합니다. 이를 위해 문제를 리프팅하고 로그 페널티 슬랙 변수를 적용하여 제약 조건을 완화합니다. 그 결과로 얻어지는 탄성 실행 가능 집합이 가축소(contractible)임을 증명하고, 명시적인 페널티 임계값 이상에서는 AC-OPF 최소화해가 탄성 문제의 최소화해로 유지되며, 근사해를 AC-OPF 실행 가능 집합으로 다시 투영하는 것이 잘 정의됨(well-posed)을 증명합니다. 커뮤니티가 AC-OPF의 공유된 출발점을 기반으로 연구할 수 있도록 모든 모델, 데이터 및 코드를 공개합니다.
기하학과 물리학의 결합: 비정형 신경망 편미분방정식 솔버를 위한 데이터 효율적 사전학습
Geometry Meets Physics: Data-Efficient Pre-Training for Unstructured Neural PDE Solvers
비정형 3D 기하 구조에서의 편미분방정식(PDE)을 위한 신경망 대리 모델(Neural surrogate models)은 흔히 미흡한 일반화 성능과 대규모 학습(training) 데이터셋 생성의 높은 비용으로 인해 한계를 겪습니다. 이에 따라, 관련 PDE 역학의 대규모 데이터셋을 활용한 사전학습(pre-training)이 이러한 모델의 강건성과 확장성을 향상하기 위한 중요한 대안으로 떠올랐습니다. 그러나 이 전략은 생성 비용이 매우 높은 대규모 사전 계산 데이터에 의존하므로 연산 효율적이지도 데이터 효율적이지도 않습니다. 본 연구에서는 정상 상태(steady-state)와 과도(transient) 상태 영역 모두에 맞춘 디스크 데이터가 필요 없는(disk-data-free) 사전학습 프레임워크를 소개합니다. 정상 상태 문제의 경우, 복잡한 3D 도메인의 표현을 학습하기 위해 내재적 형상 기술자(intrinsic shape descriptors)를 활용하는 기하학 중심 전략을 제안합니다. 과도 상태 문제에 대해서는 합성 PDE 데이터의 온라인 생성을 기반으로 하는 물리학 중심 접근법을 도입하여, 고비용 데이터셋에 의존하지 않고도 확장 가능한 사전학습을 가능하게 합니다. 다수의 실험 전반에서 본 접근법은 특히 현실적인 저데이터 환경의 미세조정(fine-tuning) 과정에서 더 빠른 수렴(convergence), 더 높은 데이터 효율성, 그리고 향상된 정확도를 달성합니다. 이 방법론은 대규모 시뮬레이션을 위한 데이터 효율적인 신경망 에뮬레이터를 향한 실용적인 경로를 제공합니다.
PhysDEM: 희소 측정 조건에서 시공간 장 생성을 위한 물리 정의 에너지 매칭 확산 모델
PhysDEM: Physics-Defined Energy-Matching Diffusion for Spatiotemporal Field Generation under Scarce Measurements
희소한 측정값으로부터 시공간적 물리 장(spatiotemporal physical field)을 생성하고 예측하는 것은 관측 데이터가 완전한 장에 대한 분포를 특성화하기에 불충분하기 때문에 어려운 과제입니다. 이는 전체 장 데이터셋(full-field dataset)에 의존하는 기존 데이터 기반 확산 모델(diffusion model)의 한계로 작용합니다. 본 논문에서는 지배 방정식과 공간적으로 희소한 관측값을 결합하여 타당한 복수의 장을 생성하는 물리 정의 확산 프레임워크인 PhysDEM을 소개합니다. 첫째, 측정값 조건부 가우스 기준(measurement-conditioned Gaussian reference)을 편미분 방정식(PDE) 잔차 에너지로 재가중하여 깁스 타깃(Gibbs target)을 구성합니다. 둘째, 디노이징을 표준화된 에너지 유도 평균 보정에 대한 지도 학습으로 환원하는 정확한 조건부 평균 항등식을 유도합니다. 셋째, 물리 변위 확률 흐름(physics-displacement probability flow)을 통해 가우스 기준 항을 상쇄하고, 재학습 없이 가우스 조건화를 통해 측정값 변화에 대응하는 상각 샘플링(amortized sampling)을 가능하게 합니다. 합성 PDE 시스템 및 실제 환경 기반 응용에 대한 실험을 통해 PhysDEM이 일관된 장 복원과 효율적인 샘플링을 지원하면서 테스트된 노이즈 수준에서도 안정적인 진단을 유지함을 입증하여, 장 평가에 대한 실용적 가치를 보여줍니다. 우리가 아는 한, PhysDEM은 사전에 구축된 전체 장 데이터셋 없이도 상각된 시공간 장 추론(inference)을 가능하게 하는 최초의 물리 정의 확산 모델(model)입니다.
PISCES: 우주 날씨 이상 탐지 및 조기 경보를 위한 물리 정보 기반 태양풍 합성곱 오토인코더
PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning
우주 날씨 조기 경보는 태양풍 과도현상(transients)이 지구에 도달하기 전 제1 태양-지구 라그랑주 점(L1)의 현장(in-situ) 측정치에서 이를 감지하는 데 의존합니다. 고정된 임계값은 복합적인 자기장 및 플라즈마 구조를 놓칠 수 있으며, 많은 학습 방법은 단일 이상 점수만을 제공합니다. 본 논문에서는 물리적 제약 조건 하에서 카탈로그 레이블 없이 OMNI 태양풍 측정 데이터를 학습한 합성곱 오토인코더인 PISCES(Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather)를 제시합니다. 본 모델의 손실(loss)에는 자기장 일관성, 온도와 속도 간의 경험적 관계, 파커 스파이럴(Parker spiral) 각도, 그리고 재구성 결과로부터 계산된 유도 물리량들에서 연속된 1분 단위 샘플 간의 변화에 대한 페널티가 포함됩니다. 추론(inference) 시 PISCES는 이상 점수를 자기장 및 플라즈마 재구성 오차, 물리적 관계, 잔차 보정값으로 분리하여 각 기여도의 크기를 보고합니다. 검증(validation) 데이터를 통해 선택된 스킵 연결(skip connection)의 감쇠는 학습된 모델의 평균 정밀도(precision)를 향상시키는 반면, 학습되지 않은 점수는 거의 동일하게 유지됩니다. 또한 학습된 모델은 이러한 물리적 기여도 간의 보다 일관된 순위를 제공합니다. 후행 중앙값(trailing median)으로 스무딩을 거친 후 경보는 양의 급변 임펄스(positive sudden impulses)를 포함하여 독립적으로 관측된 급성 시작(sudden commencements)보다 앞서 발생할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.