HAMNO: 동역학 시스템을 위한 물리-정보 기반 학습을 갖춘 계층적 적응형 다중 스케일 신경 연산자
HAMNO: A Hierarchical Adaptive Multi-scale Neural Operator with Physics-Informed Learning for Dynamical Systems
한국어 초록
신경 연산자(neural operator)는 편미분 방정식(PDE)의 해 매핑(solution mapping)을 함수 공간(function space)에서 직접 학습하는 강력한 프레임워크를 제공한다. 그러나 많은 기존 아키텍처는 여전히 다중 스케일 구조, 장거리 상호작용, 안정적인 장기간 시간 진화를 포함하는 비선형 시간 의존(time-dependent) 시스템을 표현하는 데 어려움을 겪는다. 본 연구에서는 지역 컨볼루셔널 표현, 전역 스펙트럴 연산자, 계층적 인코더-디코더 처리를 결합한 신경 연산자 아키텍처인 계층적 적응형 다중 스케일 신경 연산자(HAMNO)를 제안한다. HAMNO의 핵심 구성 요소는 각 공간 위치에서 지역 정보와 전역 정보를 적응적으로 균형 맞추는 데이터 의존 게이팅(gating) 메커니즘으로, 모델이 미세 스케일 특징을 분해하면서 장거리 의존성을 유지할 수 있게 한다. 또한 데이터 적합과 강형(strong-form) 및 약형(weak-form) 물리 제약을 결합한 다목적 손실 전략에 기반한 물리-정보 확장인 PI-HAMNO를 개발한다. 강형 항은 물리 좌표에서 영역 적분된 PDE 잔차(residual)의 제곱을 페널티로 부과하고, 약형 항은 지배 잔차에 유한요소(finite-element) 시험 함수를 곱한 뒤 중심점 기반 사면체(tetrahedral) 구적법(quadrature)으로 결과 요소 적분을 계산하여 구성한다. 이 프레임워크는 입방 영역(cubic domain)에서 정의된 비주기(non-periodic) Allen-Cahn(AC), Cahn-Hilliard(CH), Swift-Hohenberg(SH) 방정식에 대해 평가된다. 장기간 롤아웃, 데이터 제한 학습, 분포 밖(out-of-distribution) 초기 조건 변화, 무작위 시드 변화 전반에 걸쳐 HAMNO는 표준 신경 연산자 베이스라인 대비 예측 정확도를 향상시키며, PI-HAMNO는 안정성, 물리적 일관성, 데이터 효율성을 더욱 개선한다. 구현은 https://github.com/MBamdad/HAMNO 에서 공개되어 있다.
원문 초록
Neural operators provide a powerful framework for learning solution mappings of partial differential equations directly in function space. However, many existing architectures still struggle to represent nonlinear time-dependent systems that involve multi-scale structures, long-range interactions, and stable long-time evolution. In this work, we introduce the Hierarchical Adaptive Multi-scale Neural Operator (HAMNO), a neural-operator architecture that combines local convolutional representations, global spectral operators, and hierarchical encoder-decoder processing. The central component of HAMNO is a data-dependent gating mechanism that adaptively balances local and global information at each spatial location, allowing the model to resolve fine-scale features while preserving long-range dependencies. We further develop a physics-informed extension, PI-HAMNO, based on a multi-objective loss strategy that combines data fitting with strong- and weak-form physics constraints. The strong-form term penalizes the domain-integrated squared PDE residual in physical coordinates, while the weak-form term is constructed by multiplying the governing residual by finite-element test functions and evaluating the resulting element integrals using centroid-based tetrahedral quadrature. The framework is evaluated on non-periodic Allen-Cahn (AC), Cahn-Hilliard (CH), and Swift-Hohenberg (SH) equations defined on cubic domains. Across long-horizon rollout, data-limited training, out-of-distribution initial-condition shifts, and random-seed variations, HAMNO improves predictive accuracy over standard neural-operator baselines, while PI-HAMNO further enhances stability, physical consistency, and data efficiency. The implementation is publicly available at https://github.com/MBamdad/HAMNO .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11963v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
더 큰 도메인에 대한 트랜스포머 신경 연산자의 제로샷 일반화
Zero-shot generalization of transformer neural operators to larger domains
트랜스포머(Transformer) 기반 신경 연산자(neural operator)는 복잡한 형상에서 편미분방정식(PDE)의 해 연산자를 근사하는 데 뛰어난 성능을 보여왔습니다. 그러나 기존 접근 방식들은 암묵적으로 고정된 도메인 크기를 가정하므로 추론 시 일반화 능력이 제한됩니다. 본 연구에서는 도메인 확장, 즉 학습 중에 접한 것보다 훨씬 더 큰 공간 도메인에서의 제로샷(zero-shot) 추론을 조사합니다. 우리는 이 설정이 근본적으로 공간적 국소성(spatial locality)과 평행이동 동변성(translation equivariance)을 필요로 한다고 주장합니다. 이를 위해 어텐션 로짓(attention logits) 계산에 분해 가능한 바이어스를 도입하여 국소성을 구현할 것을 제안하며, 이는 쿼리-키 내적으로 완전히 분해 가능하고 최적화된 어텐션 커널과 직접 호환되면서도 정밀하게 제어 가능한 국소성을 제공합니다. 회전 위치 임베딩(RoPE)과 결합하여, 트랜스포머 아키텍처를 변경하지 않고도 제어 가능한 공간적 지지 집합(spatial support)을 갖는 표현력 있는 임베딩을 가능하게 합니다. 우리는 두 가지 PDE 벤치마크와 3D 산업용 대기 흐름 응용 분야에서 본 접근 방식이 더 큰 도메인으로의 제로샷 일반화를 크게 향상함을 경험적으로 보여줍니다. 코드와 데이터셋은 https://github.com/cerea-daml/domain-extension 에서 확인할 수 있습니다.
GENERIC-FNO: 푸리에 신경 연산자에 에너지 보존과 엔트로피 생성 임베딩
GENERIC-FNO: Embedding Energy Conservation and Entropy Production into Fourier Neural Operators
우리는 비평형 열역학의 완전한 GENERIC(메트리플렉틱) 구조—가역적·에너지 보존 동역학과 비가역적·엔트로피 생성 동역학이 축퇴 조건을 통해 결합된—를 함수 공간에 직접 임베딩하는 최초의 신경 연산자 GENERIC-FNO를 소개한다. 기존의 구조 보존 신경 연산자는 최대 단일 보존 법칙 또는 가역(해밀턴) 구조만을 강제하는 반면, 열역학적으로 일관된 학습은 유한 차원, 그래프, 또는 입자 시스템에 한정되어 있었다. GENERIC-FNO는 이 간극을 메운다: 에너지 및 엔트로피 범함수를 신경 연산자로 학습하고, 푸아송 연산자와 마찰 연산자를 랭크-1 사영 사이에 끼워 넣은 대각 푸리에 승수로 매개변수화함으로써 페널티 항, 업데이트 사영, 잔차 없이 구조적으로 축퇴 조건을 정확하게 강제한다. 축퇴 항등식은 임의의 초기화, 차원, 해상도에 대해 기계 정밀도(잔차 ~10^-13)로 성립하므로, 연속 시간 동역학은 학습된 에너지를 정확히 보존하고 엔트로피를 정확히 생성한다; 명시적 시간 스텝핑은 작은 O(dt^2) 드리프트(스텝당 잔차 ~10^-6)만을 추가한다. 또한 주어진 흐름의 (E,S,L,M) 분해는 유일하지 않음을 지적하고, 학습된 범함수와 독립적으로 가역 동역학과 소산 동역학을 분리하는 게이지 불변 소산 진단을 도입한다. 세 가지 연산자 백본(1D/2D FNO 및 DeepONet)과 가역, 소산, 혼합 체제를 아우르는 네 가지 편미분방정식(PDE)에 걸쳐, GENERIC-FNO는 4배 초해상도 범위(64에서 256)에서 제로샷으로 정확한 구조적 보장을 유지하고, 물리적 소산의 실측 순서를 복원하며, 비슷하거나 더 적은 파라미터로 강력한 비제약 및 에너지 페널티 기준선과 경쟁력 있는 성능을 보이고 여러 소산 및 혼합 문제에서 이를 능가한다.
제한된 데이터로 다양한 기하학에 걸친 효율적 물리 정보 기반 학습을 위한 잠재 PDE 매핑
Latent PDE mapping for efficient physics-informed learning across geometries with limited data
본 연구에서는 희소 학습 데이터로 효율적인 기하학적 일반화를 가능하게 하도록 설계된, 폭넓게 적용 가능한 물리 정보 기반 학습 기법인 잠재 PDE 매핑(latent PDE mapping)을 제안한다. 잠재 PDE 매핑은 변형 그래디언트(deformation gradient)를 통해 형상별 PDE 잔차와 경계 조건을 미리 정의된 잠재 기하학으로 당겨(pull back)옴으로써, 기존 물리 정보 기반 기계학습 공식화에서 누락된 기하학적으로 일관된 형상 그래디언트의 자동 계산을 가능하게 한다. 우리는 물리 정보 기반 신경망(physics-informed neural networks)과 물리 정보 기반 딥 오퍼레이터 네트워크(physics-informed deep operator networks)를 모두 사용하여 심장 전기생리학의 이방성 Aliev-Panfilov PDE를 풀 때 잠재 PDE 매핑의 유용성을 입증한다. Aliev-Panfilov PDE는 도전적인 사례로, 전통적인 수치 솔버로 포착하기 비용이 큰 급격한 그래디언트를 갖는 비선형 시간 의존 PDE 벤치마크이다. 제한된 데이터 체제를 나타내기 위해, 우리는 2차원 및 3차원 공간에서 매개변수화된 분포로부터 추출한 단 15개의 기하학적 샘플만을 사용하여 네트워크를 학습한다. 아핀 및 전단 변형으로 매개변수화된 기하학에서는 완만한 개선만 나타나지만, 잠재 PDE 매핑은 특정 기하학군에서 유의미한 이점을 보이며 평균 상대 L2 오차를 약 4~6배 감소시킨다. 또한 결과는 네트워크 학습 중 잠재 PDE 매핑 적용의 계산 비용이 적었고, 추론 시에는 무시할 수 있을 정도였음을 보여준다. 종합하면, 본 연구는 잠재 PDE 매핑이 제한된 수의 학습 형상으로부터 일반화 가능한 물리 정보 기반 기계학습 모델의 구축을 어떻게 촉진하는지 강조한다.
A Multi-Resolution Finite-Volume Inspired Deep Learning Framework for Spatiotemporal Dynamics Prediction
GAIA: Geometry-Adaptive Operator Learning for Forward and Inverse Problems
잔차 보정 불확실성을 갖춘 무해 물리 정보 기반 역학습
No-Harm Physics-Informed Inverse Learning with Residual-Calibrated Uncertainty
물리 정보 기반 학습(physics-informed learning)은 편미분방정식(PDE)이 지배하는 역문제(inverse problem)에 점점 더 많이 사용되고 있지만, 그 신뢰성을 보증하기는 여전히 어렵다. 본 논문은 물리 정보 기반 역학습(inverse learning)을 위한 무해(no-harm) 인증 및 선택 프레임워크를 제안한다. 학습된 재구성(reconstruction)은 잔차 보정 반경(residual-calibrated radius)이 기준선(baseline) 반경보다 나쁘지 않을 때, 즉 $$R_{\mathrm{learn}}\le R_{\mathrm{base}}+\varepsilon_{\mathrm{safe}};$$일 때만 채택되며, 그렇지 않으면 방법은 기준선을 반환한다. 인증서(certificate)는 데이터, 물리, 경계 또는 초기 조건, 그리고 최적화 잔차를 결합한다. 조건부 안정성 추정 하에서, 이러한 잔차들은 사후적(a posteriori) 재구성 오류 경계와 결정론적(deterministic) 불확실성 반경을 제공한다. 독립적인 무작위 collocation 점들로부터 추정된 물리 잔차에 대해서도 고확률(high-probability) 인증서가 유도된다. Poisson 소스 복원, 역 열 재구성, 제한각 단층촬영(limited-angle tomography), 타원형 계수 식별, 그리고 확률적 잔차 검증(validation)에 대한 수치 실험은 선택기(selector)가 인증된 개선을 수용하고, 편향·환각(hallucinated)·미완성 후보를 거부하며, 강하게 ill-posed인 영역에서는 보수적으로 동작함을 보여준다. 따라서 이 프레임워크는 또 하나의 재구성 아키텍처가 아니라 인증 및 선택 층(layer)이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.