An Optimisation Framework for the Well-Conditioned Training of Physics-Informed Neural Networks
원문 초록
Physics-informed neural networks (PINNs) have emerged as a promising route to solve partial differential equations, yet they have struggled to reach the precision of classical solvers. The obstacle is increasingly understood to be one of optimisation, owing to the severely ill-conditioned loss landscape. We present $\textbf{DSGNAR}$: Doubly-Sketched Gauss-Newton with Adaptive Ratio, a scalable second-order optimisation framework that confronts this ill-conditioning and, in doing so, obtains unprecedented accuracy and speed. $\textbf{DSGNAR}$ couples a doubly-sketched Gauss-Newton model with a novel strategy that carefully controls both regularisation and step length. Across a suite of problems spanning nonlinear, chaotic, multi-scale, high-dimensional, and Navier-Stokes, the framework greatly improves on the state of the art: able to attain relative $\ell_2$ errors as low as $3\times10^{-16}$ in double precision, improve contemporary results by five orders of magnitude on the canonical Burgers' equation, and as much as eight orders on a high-dimensional Poisson problem, while remaining markedly faster. We further show that, in single precision, solutions at the limit of round-off error can be obtained very quickly: Burgers' equation to $\ell_2^{\text{rel}} = 4.75 \times 10^{-7}$ in under ten seconds. The framework is also robust to the choice of architecture, arithmetic precision, and initial hyperparameters. The code is available at https://www.github.com/wephy/physics-informed-neural-networks
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02194v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
특화 신경망 모델의 자동 튜닝을 위한 멀티 에이전트 대규모 언어 모델(LLM) 시스템
A Multi-Agent LLM System for Automated Tuning of Specialized Neural Network Models
많은 머신러닝 접근법은 2단계로 이루어집니다. 즉, 전문가가 방법론 군을 선택하고, 해당 군 내에서 핵심 구성 요소의 선택이 결정적이지만 대개 수동으로 이루어집니다. 본 논문은 이러한 구성 요소의 자동 튜닝을 다루며, 서로 다른 성격의 모델 전반에 전이 가능한 프레임워크를 제안합니다. 이 멀티 에이전트 대규모 언어 모델(LLM) 프레임워크는 실험 로그 및 샌드박스 실행 환경과 함께 분석가(analyst), 코더(coder), 기록자(recorder)라는 세 가지 역할을 갖습니다. 전체 머신러닝 스크립트를 최적화하거나 이산적인 공간에서 아키텍처를 탐색하는 시스템과 달리, 이 프레임워크는 개방적이지만 의미적으로 좁은 공간에서 작동합니다. 즉, 에이전트는 전체 네트워크 구조는 변경하지 않은 채 지정된 구성 요소에 대해서만 코드를 생성합니다. 이 접근법은 상관 학습(correlation learning)을 적용한 분류 스파이킹 신경망(SNN) 튜닝과 물리 정보 기반 신경망(PINN)을 이용한 고계 미분방정식 풀이라는 두 가지 방향에서 검증됩니다. MNIST 및 Digits 데이터셋에서의 스파이킹 분류, 그리고 일반화된 비선형 슈뢰딩거 방정식(GNLSE) 및 쿠라모토-시바신스키(KS) 방정식에 대한 경계값 문제 등 총 5개 태스크에 걸쳐 에이전트는 베이스라인을 능가합니다. 분류 정확도는 MNIST에서 13%p, Digits에서 6%p 더 높았고, 해석적 단일 솔리톤 해에 대한 오차는 약 2491배 감소했습니다. 가우시안 섭동(Gaussian perturbation)이 있는 선정된 GNLSE 실행에서 불변량 보존 오차는 약 325배 감소했고 반복 초기화 전반의 평균으로는 100배 이상 감소했으며, 가우시안 섭동이 있는 KS 문제의 경우 질량 드리프트가 14배 감소했습니다. 따라서 이 프레임워크는 자체적인 내부 구조를 변경하지 않고도 서로 다른 성격의 태스크에서 핵심 구성 요소를 튜닝합니다.
이종 복합재 시뮬레이션을 위한 메쉬 기반 신경망 에너지 방법
A mesh-based neural energy method for the simulation of heterogeneous composites
이종 재료(heterogeneous material) 모델링은 deep energy method(DEM)와 같은 물리 정보 신경망(physics-informed neural network)에게 여전히 어려운 과제로 남아 있다. DEM과 그 변형들—여기서는 통칭하여 신경망 에너지 방법(neural energy method, NEM)이라 한다—은 미분 가능한 변분적(variational) 프레임워크를 제공한다. 그러나 이들의 기존 콜로케이션 기반(collocation-based) 구현(C-NEM)은 물리적으로 허용되지 않는 변위 진동(displacement oscillation), 적분 오차, 그리고 자동 미분(automatic differentiation)으로 인한 높은 계산 비용 문제를 자주 겪는다. 본 연구는 변위장(displacement field)의 메쉬 기반 이산화(discretization)를 통해 NEM을 확장한 메쉬 기반 신경망 에너지 방법(mesh-based neural energy method, M-NEM)을 소개한다. 형상 함수(shape function)를 통해 절점 변위(nodal displacement)를 보간함으로써, M-NEM은 진동을 억제하는 운동학적 제약(kinematic constraint)을 부과한다. 또한 이 방법은 변형률(strain) 계산을 위해 자동 미분을 대수적 형상 함수 도함수로 대체하고, 정확한 에너지 적분을 위해 고차 가우스 구적법(Gaussian quadrature)을 사용한다. 직접 비교 가능한 벤치마크 문제에서, M-NEM은 C-NEM 대비 응력 오차를 최대 3자릿수(order of magnitude)까지 줄이는 동시에 1~2자릿수 더 빠른 속도를 보인다. 극단적인 강성 대비(stiffness contrast)를 포함하는 추가 두 가지 벤치마크에서는 M-NEM만이 수렴한다. 신경망 아키텍처에 대한 비교 연구는 방사 기저 함수 신경망(radial basis function neural network, RBFNN)이 M-NEM 내에서 최적의 성능을 보이며, 무작위 푸리에 특징(random Fourier feature, RFF) 매핑을 사용한 다층 퍼셉트론(multi-layer perceptron, MLP)보다 재료 계면(material interface)에서의 급격한 그래디언트(gradient)를 더 높은 정확도로 해결하고, 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold network, KAN)보다 더 빠르게 수렴함을 보여준다.
Gen-PINNs: 편미분 방정식 해결을 위한 생성적 적대 물리 정보 신경망
Gen-PINNs: Generative Adversarial Physics Informed Neural Networks for solving partial differential equations
물리 정보 신경망(PINNs)은 머신러닝을 사용하여 편미분 방정식(PDEs)을 해결하는 데 널리 사용되는 데이터 프리(data-free) 방법입니다. 최근 생성적 적대 신경망(GANs)의 발전과 함께 적대적 학습은 복잡한 데이터 기반 문제를 모델링하는 데 강력한 성능을 보여주었으나, 결정론적 물리 정보 기반 PDE 해법에서 GAN의 활용은 여전히 제한적입니다. 본 연구에서는 먼저 스펙트럼 바이어스(spectral bias), 손실 불균형(loss imbalance), 옵티마이저 정체(optimizer stagnation)를 포함하여 PDE 해결을 위한 표준 PINN의 한계점을 식별합니다. 그런 다음 급격한 전선(sharp front) 또는 충격파 전선(shock-front) 거동을 보이는 PDE의 데이터 프리 솔루션을 개선하도록 설계된 통합 결정론적 잔차-적대적 프레임워크인 생성적 적대 물리 정보 신경망(Gen-PINNs)을 제안합니다. 생성자(generator)는 동적으로 가중치가 부여된 물리 정보 손실 요소를 사용하여 기저 PDE 해를 학습하며, 별도의 판별자(discriminators)는 이상적인 무잔차(zero-residual) 상태에 대해 상호보완적인 PDE 잔차 특성을 평가합니다. 나아가 본 프레임워크는 고주파 공간 성분을 분해하기 위한 푸리에 표현(Fourier representation), 주파수 의존적 해 오차를 정량화하기 위한 정규직교 스펙트럼 진단(orthonormal spectral diagnostic), 물리, 초기 조건, 경계 조건 및 적대적 손실 목적을 위한 수정된 그래디언트 기반 동적 가중치 시스템 등 여러 방법론적 구성 요소를 개발하고 적용합니다. Gen-PINNs는 버거스(Burgers), 앨런-칸(Allen-Cahn), 쿠라모토-시바신스키(Kuramoto-Sivashinsky) 방정식을 포함한 비선형 및 고차 PDE에 대해 표준 PINN과 비교 검증되었습니다. 연구 결과는 급격한 전선, 강체(stiff) 및 고차 PDE 솔루션 전반에서 정확도와 수렴의 상당한 개선을 보여주며, 까다로운 비선형 PDE를 해결하기 위한 효과적인 접근 방식으로서 결정론적 잔차-적대적 학습의 잠재력을 강조합니다.
물리 정보 신경망을 위한 푸리에 특징 피라미드
Fourier Feature Pyramids for Physics-Informed Neural Networks
본 논문에서는 편미분 방정식(PDE)을 풀기 위한 개선된 신경 필드(neural field) 아키텍처를 제시합니다. 현재의 물리 정보 신경망(PINN)은 편미분 방정식을 풀기 위한 유연한 프레임워크를 제공하지만, 고정밀 해를 얻는 데 어려움을 겪고 매개변수 수에 따른 연산 확장성이 떨어집니다. beignet(Bandlimited Embedding with Interpolated Grid Network)이라 명명한 본 모델은 기존 PINN 모델에서 사용되던 무작위 푸리에 특징 임베딩을 학습 가능한 다해상도 푸리에 특징 피라미드로 대체합니다. 연속적인 좌표에서 beignet을 쿼리하기 위해 피라미드의 각 수준에서 푸리에 보간법을 사용하여 입력 좌표의 특징을 반환한 다음, 완전 연결 신경망 트렁크를 통해 이 벡터를 디코딩합니다. 본 모델은 다음과 같은 여러 이점을 제공합니다. 1) 자동 미분으로 계산된 신경망의 도함수와 고속 푸리에 변환(FFT)을 통해 스펙트럼 방식으로 계산된 특징 격자의 도함수를 연쇄 법칙으로 합성함으로써 공간 도함수를 효율적으로 계산할 수 있습니다. 2) 신경망 아키텍처를 확장하는 비효율적인 전략 대신 푸리에 특징 피라미드의 매개변수 수를 확장함으로써 계산 효율적인 방식으로 더 높은 정확도를 달성할 수 있습니다. 3) 표현의 대역 제한(bandlimit)을 직접 제어할 수 있어 다루기 힘든 편미분 방정식에 대해서도 최적화가 더욱 안정적입니다. 본 연구는 beignet이 최신 PINN 방법보다 더 적은 매개변수를 사용하면서도 PDE 벤치마크에서 현저히 더 정확한 해를 도출함을 입증합니다. 나아가 자기유사(self-similar) 비점성 버거스 폭발(Burgers blowup) 문제에서 beignet을 평가하여, 이전에는 계산 비용이 큰 고차 최적화기를 사용해야만 도달할 수 있었던 정확도 수준인 머신 정밀도(machine precision)에 가깝게 Adam만으로 잔차를 최소화할 수 있음을 보여줍니다.
MAdam: 메트릭 인식 다중 목적 Adam
MAdam: Metric-Aware Multi-Objective Adam
다중 목적 최적화(MOO)는 수많은 머신러닝 문제의 기반을 이루지만, 손실 균형(loss-balancing), 그래디언트 균형(gradient-balancing), 파레토(Pareto) 기반 계열 전반의 MOO 솔버들은 절충된 방향 벡터를 거의 예외 없이 Adam~\citep{kingma2015adam}에 전달합니다. 본 논문에서는 이러한 결합으로 인해 솔버의 의도와 옵티마이저의 실행 사이에 두 가지 구조적 괴리가 발생함을 보입니다. 첫 번째는 가중치 불일치(weighting mismatch)입니다. Adam의 2차 모멘트 분모는 시간에 따라 변하는 선호도(preference) 벡터와 그래디언트 통계량을 뒤엉키게 만들어, 선호도를 과거 이력의 평균으로 한계화하고 서로 다른 파레토 절충안들을 거의 균일한 혼합 상태로 수렴시켜 버립니다. 두 번째는 기하학적 불일치(geometric mismatch)입니다. Adam의 적응형 메트릭은 MOO 솔버가 가정하는 유클리드 기하학을 왜곡하여, 정렬된 목적들을 표면상 충돌하는 것처럼 변형시킵니다. 이 두 문제를 동시에 해결하기 위해, 솔버와 옵티마이저를 전혀 변경하지 않고 그대로 사용할 수 있는 드롭인 래퍼(drop-in wrapper)인 MAdam(Metric-Aware Multi-Objective Adam)을 제안합니다. MAdam은 스칼라화된 목적 함수의 선호도 조건부 곡률(curvature)로 절충된 방향을 사전조건화(preconditioning)합니다. 이처럼 백색화(whitening)된 입력에서 Adam의 2차 모멘트는 단위행렬로 단순화되므로, 실제 반영되는 업데이트는 선호도 조건부 메트릭에 의해 제어됩니다. 멀티태스크 학습, 파레토 전선 복원, 물리 정보 신경망(PINN), 의료 영상 전반에 걸쳐 MAdam은 모든 솔버 계열에 대해 전반적으로 Adam 대비 성능을 향상시킵니다. 코드는 https://github.com/lfb-1/MAdam 에서 제공됩니다.
물리 정보 신경망 역문제를 위한 타깃 유도 선택적 재가중: 전이학습 접근법
Target-Guided Selective Reweighting for Physics-Informed Neural Network Inverse Problems: A Transfer Learning Approach
물리 정보 신경망(PINN)은 편미분방정식(PDE) 역문제에서 종종 불량 조건 최적화(ill-posed optimization), 손실 함수 간의 충돌, 매개변수 보상(parameter compensation) 문제에 직면합니다. 전이학습(transfer learning)은 소스 태스크의 표현을 재사용할 수 있지만, 소스와 타깃의 물리적 특성이 다를 경우 직접적인 미세조정(fine-tuning)은 부정적 전이(negative transfer)를 유발하여 장(field) 오차는 낮으나 부정확한 매개변수 복원으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 PINN 역 전이학습을 위한 타깃 증거 기반 표현 교정 기법인 타깃 유도 선택적 재가중 PINN(Target-Guided Selective Reweighting PINN, TGSR-PINN)을 제안합니다. TGSR-PINN은 소스 신경망의 가중치와 편향을 전이하지만, 타깃 물리 매개변수는 독립적으로 초기화합니다. 타깃에 대한 짧은 적응 후, 고정된 배치에서 1차 테일러 민감도와 사전 활성화 분산을 사용하여 뉴런의 점수를 매깁니다. 이 점수들은 순위 대체(rank fallback)가 포함된 가우시안 혼합 모델(Gaussian mixture model)을 통해 연속적인 약적응(weak-adaptation) 신호로 변환됩니다. 그런 다음 TGSR-PINN은 해당 입력 가중치 행과 편향을 가지치기(pruning)하거나 재설정하지 않고 유계 선택적 소프트 감쇠(bounded selective soft decay)를 적용합니다. 0-소스 고페클레 유입-유출 문제(영이 아닌 디리클레 데이터 및 유출 경계층 포함), Allen-Cahn에서 Burgers로의 교차 PDE 전이, 5% 노이즈가 포함된 반응-확산 역문제에 대한 실험 결과는 TGSR-PINN이 낮은 장 오차를 유지하면서 매개변수 복원 성능을 향상시킴을 보여줍니다. 소거 연구(ablation studies)를 통해 뉴런 타깃 점수화, 약적응 추정, 층 보호 및 선택적 소프트 감쇠가 관찰된 성능 향상에 공동으로 기여함을 확인했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.