많은 머신러닝 접근법은 2단계로 이루어집니다. 즉, 전문가가 방법론 군을 선택하고, 해당 군 내에서 핵심 구성 요소의 선택이 결정적이지만 대개 수동으로 이루어집니다. 본 논문은 이러한 구성 요소의 자동 튜닝을 다루며, 서로 다른 성격의 모델 전반에 전이 가능한 프레임워크를 제안합니다. 이 멀티 에이전트 대규모 언어 모델(LLM) 프레임워크는 실험 로그 및 샌드박스 실행 환경과 함께 분석가(analyst), 코더(coder), 기록자(recorder)라는 세 가지 역할을 갖습니다. 전체 머신러닝 스크립트를 최적화하거나 이산적인 공간에서 아키텍처를 탐색하는 시스템과 달리, 이 프레임워크는 개방적이지만 의미적으로 좁은 공간에서 작동합니다. 즉, 에이전트는 전체 네트워크 구조는 변경하지 않은 채 지정된 구성 요소에 대해서만 코드를 생성합니다. 이 접근법은 상관 학습(correlation learning)을 적용한 분류 스파이킹 신경망(SNN) 튜닝과 물리 정보 기반 신경망(PINN)을 이용한 고계 미분방정식 풀이라는 두 가지 방향에서 검증됩니다. MNIST 및 Digits 데이터셋에서의 스파이킹 분류, 그리고 일반화된 비선형 슈뢰딩거 방정식(GNLSE) 및 쿠라모토-시바신스키(KS) 방정식에 대한 경계값 문제 등 총 5개 태스크에 걸쳐 에이전트는 베이스라인을 능가합니다. 분류 정확도는 MNIST에서 13%p, Digits에서 6%p 더 높았고, 해석적 단일 솔리톤 해에 대한 오차는 약 2491배 감소했습니다. 가우시안 섭동(Gaussian perturbation)이 있는 선정된 GNLSE 실행에서 불변량 보존 오차는 약 325배 감소했고 반복 초기화 전반의 평균으로는 100배 이상 감소했으며, 가우시안 섭동이 있는 KS 문제의 경우 질량 드리프트가 14배 감소했습니다. 따라서 이 프레임워크는 자체적인 내부 구조를 변경하지 않고도 서로 다른 성격의 태스크에서 핵심 구성 요소를 튜닝합니다.
물리 정보 신경망(PINNs)은 머신러닝을 사용하여 편미분 방정식(PDEs)을 해결하는 데 널리 사용되는 데이터 프리(data-free) 방법입니다. 최근 생성적 적대 신경망(GANs)의 발전과 함께 적대적 학습은 복잡한 데이터 기반 문제를 모델링하는 데 강력한 성능을 보여주었으나, 결정론적 물리 정보 기반 PDE 해법에서 GAN의 활용은 여전히 제한적입니다. 본 연구에서는 먼저 스펙트럼 바이어스(spectral bias), 손실 불균형(loss imbalance), 옵티마이저 정체(optimizer stagnation)를 포함하여 PDE 해결을 위한 표준 PINN의 한계점을 식별합니다. 그런 다음 급격한 전선(sharp front) 또는 충격파 전선(shock-front) 거동을 보이는 PDE의 데이터 프리 솔루션을 개선하도록 설계된 통합 결정론적 잔차-적대적 프레임워크인 생성적 적대 물리 정보 신경망(Gen-PINNs)을 제안합니다. 생성자(generator)는 동적으로 가중치가 부여된 물리 정보 손실 요소를 사용하여 기저 PDE 해를 학습하며, 별도의 판별자(discriminators)는 이상적인 무잔차(zero-residual) 상태에 대해 상호보완적인 PDE 잔차 특성을 평가합니다. 나아가 본 프레임워크는 고주파 공간 성분을 분해하기 위한 푸리에 표현(Fourier representation), 주파수 의존적 해 오차를 정량화하기 위한 정규직교 스펙트럼 진단(orthonormal spectral diagnostic), 물리, 초기 조건, 경계 조건 및 적대적 손실 목적을 위한 수정된 그래디언트 기반 동적 가중치 시스템 등 여러 방법론적 구성 요소를 개발하고 적용합니다. Gen-PINNs는 버거스(Burgers), 앨런-칸(Allen-Cahn), 쿠라모토-시바신스키(Kuramoto-Sivashinsky) 방정식을 포함한 비선형 및 고차 PDE에 대해 표준 PINN과 비교 검증되었습니다. 연구 결과는 급격한 전선, 강체(stiff) 및 고차 PDE 솔루션 전반에서 정확도와 수렴의 상당한 개선을 보여주며, 까다로운 비선형 PDE를 해결하기 위한 효과적인 접근 방식으로서 결정론적 잔차-적대적 학습의 잠재력을 강조합니다.
이종 재료(heterogeneous material) 모델링은 deep energy method(DEM)와 같은 물리 정보 신경망(physics-informed neural network)에게 여전히 어려운 과제로 남아 있다. DEM과 그 변형들—여기서는 통칭하여 신경망 에너지 방법(neural energy method, NEM)이라 한다—은 미분 가능한 변분적(variational) 프레임워크를 제공한다. 그러나 이들의 기존 콜로케이션 기반(collocation-based) 구현(C-NEM)은 물리적으로 허용되지 않는 변위 진동(displacement oscillation), 적분 오차, 그리고 자동 미분(automatic differentiation)으로 인한 높은 계산 비용 문제를 자주 겪는다. 본 연구는 변위장(displacement field)의 메쉬 기반 이산화(discretization)를 통해 NEM을 확장한 메쉬 기반 신경망 에너지 방법(mesh-based neural energy method, M-NEM)을 소개한다. 형상 함수(shape function)를 통해 절점 변위(nodal displacement)를 보간함으로써, M-NEM은 진동을 억제하는 운동학적 제약(kinematic constraint)을 부과한다. 또한 이 방법은 변형률(strain) 계산을 위해 자동 미분을 대수적 형상 함수 도함수로 대체하고, 정확한 에너지 적분을 위해 고차 가우스 구적법(Gaussian quadrature)을 사용한다. 직접 비교 가능한 벤치마크 문제에서, M-NEM은 C-NEM 대비 응력 오차를 최대 3자릿수(order of magnitude)까지 줄이는 동시에 1~2자릿수 더 빠른 속도를 보인다. 극단적인 강성 대비(stiffness contrast)를 포함하는 추가 두 가지 벤치마크에서는 M-NEM만이 수렴한다. 신경망 아키텍처에 대한 비교 연구는 방사 기저 함수 신경망(radial basis function neural network, RBFNN)이 M-NEM 내에서 최적의 성능을 보이며, 무작위 푸리에 특징(random Fourier feature, RFF) 매핑을 사용한 다층 퍼셉트론(multi-layer perceptron, MLP)보다 재료 계면(material interface)에서의 급격한 그래디언트(gradient)를 더 높은 정확도로 해결하고, 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold network, KAN)보다 더 빠르게 수렴함을 보여준다.
물리 정보 신경망(PINN)은 편미분방정식(PDE) 역문제에서 종종 불량 조건 최적화(ill-posed optimization), 손실 함수 간의 충돌, 매개변수 보상(parameter compensation) 문제에 직면합니다. 전이학습(transfer learning)은 소스 태스크의 표현을 재사용할 수 있지만, 소스와 타깃의 물리적 특성이 다를 경우 직접적인 미세조정(fine-tuning)은 부정적 전이(negative transfer)를 유발하여 장(field) 오차는 낮으나 부정확한 매개변수 복원으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 PINN 역 전이학습을 위한 타깃 증거 기반 표현 교정 기법인 타깃 유도 선택적 재가중 PINN(Target-Guided Selective Reweighting PINN, TGSR-PINN)을 제안합니다. TGSR-PINN은 소스 신경망의 가중치와 편향을 전이하지만, 타깃 물리 매개변수는 독립적으로 초기화합니다. 타깃에 대한 짧은 적응 후, 고정된 배치에서 1차 테일러 민감도와 사전 활성화 분산을 사용하여 뉴런의 점수를 매깁니다. 이 점수들은 순위 대체(rank fallback)가 포함된 가우시안 혼합 모델(Gaussian mixture model)을 통해 연속적인 약적응(weak-adaptation) 신호로 변환됩니다. 그런 다음 TGSR-PINN은 해당 입력 가중치 행과 편향을 가지치기(pruning)하거나 재설정하지 않고 유계 선택적 소프트 감쇠(bounded selective soft decay)를 적용합니다. 0-소스 고페클레 유입-유출 문제(영이 아닌 디리클레 데이터 및 유출 경계층 포함), Allen-Cahn에서 Burgers로의 교차 PDE 전이, 5% 노이즈가 포함된 반응-확산 역문제에 대한 실험 결과는 TGSR-PINN이 낮은 장 오차를 유지하면서 매개변수 복원 성능을 향상시킴을 보여줍니다. 소거 연구(ablation studies)를 통해 뉴런 타깃 점수화, 약적응 추정, 층 보호 및 선택적 소프트 감쇠가 관찰된 성능 향상에 공동으로 기여함을 확인했습니다.
다중 목적 최적화(MOO)는 수많은 머신러닝 문제의 기반을 이루지만, 손실 균형(loss-balancing), 그래디언트 균형(gradient-balancing), 파레토(Pareto) 기반 계열 전반의 MOO 솔버들은 절충된 방향 벡터를 거의 예외 없이 Adam~\citep{kingma2015adam}에 전달합니다. 본 논문에서는 이러한 결합으로 인해 솔버의 의도와 옵티마이저의 실행 사이에 두 가지 구조적 괴리가 발생함을 보입니다. 첫 번째는 가중치 불일치(weighting mismatch)입니다. Adam의 2차 모멘트 분모는 시간에 따라 변하는 선호도(preference) 벡터와 그래디언트 통계량을 뒤엉키게 만들어, 선호도를 과거 이력의 평균으로 한계화하고 서로 다른 파레토 절충안들을 거의 균일한 혼합 상태로 수렴시켜 버립니다. 두 번째는 기하학적 불일치(geometric mismatch)입니다. Adam의 적응형 메트릭은 MOO 솔버가 가정하는 유클리드 기하학을 왜곡하여, 정렬된 목적들을 표면상 충돌하는 것처럼 변형시킵니다. 이 두 문제를 동시에 해결하기 위해, 솔버와 옵티마이저를 전혀 변경하지 않고 그대로 사용할 수 있는 드롭인 래퍼(drop-in wrapper)인 MAdam(Metric-Aware Multi-Objective Adam)을 제안합니다. MAdam은 스칼라화된 목적 함수의 선호도 조건부 곡률(curvature)로 절충된 방향을 사전조건화(preconditioning)합니다. 이처럼 백색화(whitening)된 입력에서 Adam의 2차 모멘트는 단위행렬로 단순화되므로, 실제 반영되는 업데이트는 선호도 조건부 메트릭에 의해 제어됩니다. 멀티태스크 학습, 파레토 전선 복원, 물리 정보 신경망(PINN), 의료 영상 전반에 걸쳐 MAdam은 모든 솔버 계열에 대해 전반적으로 Adam 대비 성능을 향상시킵니다. 코드는 https://github.com/lfb-1/MAdam 에서 제공됩니다.
본 논문에서는 편미분 방정식(PDE)을 풀기 위한 개선된 신경 필드(neural field) 아키텍처를 제시합니다. 현재의 물리 정보 신경망(PINN)은 편미분 방정식을 풀기 위한 유연한 프레임워크를 제공하지만, 고정밀 해를 얻는 데 어려움을 겪고 매개변수 수에 따른 연산 확장성이 떨어집니다. beignet(Bandlimited Embedding with Interpolated Grid Network)이라 명명한 본 모델은 기존 PINN 모델에서 사용되던 무작위 푸리에 특징 임베딩을 학습 가능한 다해상도 푸리에 특징 피라미드로 대체합니다. 연속적인 좌표에서 beignet을 쿼리하기 위해 피라미드의 각 수준에서 푸리에 보간법을 사용하여 입력 좌표의 특징을 반환한 다음, 완전 연결 신경망 트렁크를 통해 이 벡터를 디코딩합니다. 본 모델은 다음과 같은 여러 이점을 제공합니다. 1) 자동 미분으로 계산된 신경망의 도함수와 고속 푸리에 변환(FFT)을 통해 스펙트럼 방식으로 계산된 특징 격자의 도함수를 연쇄 법칙으로 합성함으로써 공간 도함수를 효율적으로 계산할 수 있습니다. 2) 신경망 아키텍처를 확장하는 비효율적인 전략 대신 푸리에 특징 피라미드의 매개변수 수를 확장함으로써 계산 효율적인 방식으로 더 높은 정확도를 달성할 수 있습니다. 3) 표현의 대역 제한(bandlimit)을 직접 제어할 수 있어 다루기 힘든 편미분 방정식에 대해서도 최적화가 더욱 안정적입니다. 본 연구는 beignet이 최신 PINN 방법보다 더 적은 매개변수를 사용하면서도 PDE 벤치마크에서 현저히 더 정확한 해를 도출함을 입증합니다. 나아가 자기유사(self-similar) 비점성 버거스 폭발(Burgers blowup) 문제에서 beignet을 평가하여, 이전에는 계산 비용이 큰 고차 최적화기를 사용해야만 도달할 수 있었던 정확도 수준인 머신 정밀도(machine precision)에 가깝게 Adam만으로 잔차를 최소화할 수 있음을 보여줍니다.
제약 조건이 있는 머신러닝(Constrained Machine Learning, CML)은 공정성을 고려한 학습(fairness-aware training), 물리 정보 신경망(PINN), 그리고 통계적 모델로의 기호적 도메인 지식 통합을 가능하게 합니다. 본 연구에서는 CML 문제를 위한 확률적 페널티-배리어 방법(Stochastic Penalty-Barrier Method, SPBM)을 소개합니다. SPBM은 쌍대 변수의 지수 평균, 안정화된 페널티 스케줄, 그리고 비매끄러움(non-smoothness)을 다루기 위한 모로 포락선(Moreau envelope)을 결합하여 고전적인 페널티 및 배리어 방법을 확장합니다. 또한 미니배치 처리가 배리어 함수에 도입하는 바이어스를 분석하고, 변환된 문제의 실행 가능 집합이 원래의 실행 가능 집합 내에 포함됨을 보입니다. 다양한 공정성 및 물리 정보 신경망 실험을 통해 SPBM을 CML 베이스라인들과 비교한 결과, SPBM이 최신 SOTA(state-of-the-art) 방법들과 경쟁력 있는 성능을 보임을 확인했습니다. 아울러 공정성 기반의 계산 벤치마크에서, CML 방법들의 에포크당 실행 시간은 제약 조건의 수와 대체로 무관하며, 제약 조건 수가 90개에서 9900개에 이르는 범위에서도 정규화된 Adam의 에포크당 실행 시간 대비 1.3배 이내임을 관찰했습니다.
많은 생물학적 과정은 실험 데이터의 양이 증가함에도 불구하고 여전히 불완전하게 이해된 복잡한 동적 메커니즘에 의해 지배됩니다. 생물학적 정보 기반 신경망(BINN)은 미분 방정식을 신경망(neural network) 학습(training)에 임베딩(embedding)하여 희소하고 노이즈가 있는 관측 데이터로부터 구성 연산자를 직접 복원할 수 있도록 함으로써 이러한 과제를 해결하고자 합니다. 그러나 연산자 복원이 아키텍처 설계, 최적화(optimization) 전략 및 데이터 내 정보에 어느 정도 의존하는지는 아직 명확히 밝혀지지 않았습니다. 본 연구에서는 1차원 이류-확산-반응 편미분 방정식(PDE)에 적용된 BINN을 사용하여 이러한 요인들이 기전 추론(inference)에 미치는 영향을 실증적으로 분석합니다. 다양한 문제 전반에 걸쳐 네트워크 표현력, 학습률(learning rate), 손실 가중치, 배치(batch) 크기가 최적화 동작, 재구성 정확도, 연산자 복원에 어떤 영향을 미치는지 조사합니다. 연구 결과, 기전 추론은 단일 측면을 극대화하기보다는 상충하는 목표 간의 균형을 맞춤으로써 좌우된다는 점을 보여줍니다. 적당한 표현력을 가진 아키텍처가 복잡한 네트워크보다 우수한 성능을 보이고, 중간 수준의 학습률이 효율적인 탐험(exploration)과 최적화 안정성의 균형을 이루며, 정확한 연산자 복원을 위해서는 데이터 피팅 손실(loss)과 PDE 잔차 손실 간의 균형이 필요하고, 중간 수준의 배치 크기가 효율적인 매개변수(parameter) 공간 탐험, 계산 효율성 및 재현성 사이에서 최적의 절충안을 제공합니다. 나아가 과적합, 불안정한 최적화, 불량한 기전 복원 등 흔히 발생하는 실패 모드를 인식하기 위한 실용적인 진단법을 제시합니다. 이러한 발견은 생물학적 모델(model) 발견을 위한 신뢰성 있는 도구로서 BINN을 배포하기 위한 가이드라인을 정립하며, 신뢰할 수 있는 기전 추론이 모델 표현력, 최적화, 물리적 일관성, 데이터 정보성의 적절한 균형을 통해 달성됨을 입증합니다.
물리 정보 기반 신경망(PINN)은 학습(training) 과정에 물리 법칙을 통합함으로써 편미분 방정식(PDE)을 해결하는 효과적인 접근 방식으로 부상했습니다. 그러나 유한한 수의 학습 점으로 비유계(unbounded) 영역을 표현하는 것의 어려움으로 인해, 무한 및 반무한 영역에 대한 적용은 여전히 난제로 남아 있습니다. 본 연구는 무한 영역에서의 역(inverse) PDE 문제를 위한 물리 정보 기반 학습 전략을 평가하며, 균등(uniform), 가우시안(Gaussian), 지수(exponential) 분포 기반 샘플링 전략의 영향과 PINN 프레임워크 내에서 기존 다층 퍼셉트론(MLP) 및 콜모고로프-아놀드 네트워크(KAN)의 활용에 초점을 맞춥니다. 제안된 벤치마크는 무한 및 반무한 영역에서의 인공적인 역문제를 고려하여 재구성 정확도와 계산 효율성에 대한 정량적 평가를 가능하게 합니다. 실험 결과에 따르면 명시적 분포 매개변수로 제어되는 가우시안 및 지수 샘플링은 원거리 장(far field)에서의 재구성 정확도를 향상시키며, 문제 특화된 사전 지식을 학습에 임베딩(embedding)하는 직접적인 메커니즘을 제공합니다. 에지 기반 함수 표현이 콜모고로프-아놀드 표현 정리에 기반한 PIKAN은 더 적은 뉴런을 요구하면서도 MLP 기반 PINN의 정확도와 일치하거나 이를 능가하지만, 스플라인 기반 공식화로 인해 학습, 추론(inference), 도함수(derivative) 계산의 연산 비용이 증가합니다.
파동 전파를 정확하게 시뮬레이션하는 것은 음향학, 전자기학, 지진 분석과 같은 분야에서 매우 중요합니다. 유한 차분법 및 유한 요소 접근법과 같은 전통적인 수치 해석 방법은 헬름홀츠(Helmholtz) 방정식과 같은 지배 편미분 방정식(PDE)을 푸는 데 널리 사용됩니다. 그러나 이러한 방법들은 복잡한 2차원 영역의 고주파 파동 문제에 적용될 때 상당한 계산적 난관에 직면합니다. 본 연구에서는 유망한 대안으로서 유한 기저 물리 정보 신경망(Finite Basis Physics-Informed Neural Networks, FBPINN)과 그 다중 레벨 확장을 조사합니다. 이러한 방법들은 영역 분할법(domain decomposition)을 활용하여 계산 영역을 중첩되는 하위 영역으로 분할하고, 각 하위 영역을 국소 신경망이 관할하도록 합니다. 우리는 균질한 경우의 헬름홀츠 방정식을 해결하는 데 있어 이들의 정확도와 계산 효율성을 평가하며, 전통적인 접근 방식의 한계를 완화할 수 있는 잠재력을 입증합니다.
주기적 활성화 함수를 갖는 아키텍처는 물리 정보 신경망(PINN)의 다양한 응용에서 단조(monotonic) 활성화 대안에 비해 이미 유리함이 보고되었다. 본 연구에서는 복소 지수 함수를 사용하여 사인·코사인 출력 쌍을 활성화 함수로 생성하는 네트워크 아키텍처를 검토한다. 정육면체 공동 Rayleigh-Bénard 대류에서 희소 속도 데이터로부터 온도를 재구성하는 과제에 대해, 동등한 사인 활성화 다층 퍼셉트론(MLP)과 비교한 결과, 학습 단계당 계산 비용이 크게 늘지 않으면서 재구성 품질이 유의미하게 향상되었다. 반대로 개선된 아키텍처는 훨씬 적은 비용으로 유사한 재구성 품질에 도달할 수 있다. 이러한 네트워크의 수학적 구조를 분석하면, 개선은 사인과 코사인 함수를 모두 순전파한다는 성질에 기인하는 것으로 보인다. 이를 통해 후속 층이 제공된 잠재 주기 함수의 위상(phase)을 각 뉴런마다 개별적으로 조정할 수 있다.
기후 인식 디지털 트윈 시스템을 지원하려면 단기 대기 온도 예측이 필요하지만, 열 관측이 불완전한 곳에서도 그러한 예측을 생성해야 한다. 본 연구는 위치온도(potential temperature) 예측을 위해 압력 좌표 열역학적 이류-원(source) 방정식과, 직전 12시간 구간에서 적합한 후 미래 시점 학습 전에 고정(freeze)한 비단열(diabatic) 원 폐쇄(closure)로 제약하는 물리정보 신경망(physics-informed neural network)을 평가한다. 세 개 압력 레벨에서 시간별 ERA5 재분석을 사용하여, 모델은 1·2·3시간 선행(lead time)에서 지속(persistence), 국지 추세(local-trend), 그리고 동일한 미래 기상 forcing을 PINN과 같이 받는 신경망 기준선 하나를 포함한 두 개의 대응(match) 신경망 기준선과 비교하는 조건부 후향 예측(hindcast)으로 평가되어, 물리적 제약과 미래 forcing 접근의 효과를 구분하는 데 도움이 된다. 오클라호마 개발 사례에서 가장 강한 기준선 대비 평균 RMSE 개선은 1시간에서 8.1%에서 3시간에서 23.8%까지 증가했으며, 후보 위치의 5%까지 관측 밀도 스weep을 내린 희소성 조건에서도 3시간 우위는 14.6–16.9%로 유지되었고, 밀도가 낮을수록 성능이 개선된다는 증거는 없었다. 알abama 열 이벤트로 고정 프로토콜을 이전하고 세 가지 가상 관측 배치를 적용한 경우, 3시간 개선은 19.7–24.4% 범위였고 origin 수준에서 일관된 우위가 있었다. 고정 압력 레벨이 복잡 지형과 교차하는 몬타나 스트레스 테스트에서는 3시간 성능이 대략 17.5% 악화되어, 해당 formulation의 지형 관련 적용 한계를 드러냈다. 종합하면, 물리 제약의 이점은 예측 horizon이 길어질수록 커지고, 심각한 관측 희소성에서도 유지되며, 지역 간 전이되지만, 복잡 지형 위에서 고정 수직 좌표 표현의 타당성에 의해 한계가 있으며, 이는 기후 인식 예측 및 디지털 트윈 시스템의 물리 제약 구성요소와 관련된 근거이다.
물리 정보 신경망(PINN)은 비선형 편미분방정식(PDE)을 풀기 위한 유연한 프레임워크를 제공하지만, 기존 구현은 장기 적분 동안 핵심 물리 불변량을 보존하지 못하는 경우가 많다. 본 논문은 비선형·분산 파동 전파의 전형적인 모델인 비선형 Korteweg-de Vries (KdV) 방정식을 위한 구조 보존 PINN 프레임워크를 제안한다. 제안 방법은 질량 보존과 Hamiltonian 에너지 보존을 손실 함수에 직접 내장하여, 학습과 예측 전 과정에서 물리적으로 일관되고 에너지가 안정적인 진화를 보장한다. 표준 tanh 기반 PINN과 달리, 본 접근법은 사인형 활성화 함수를 사용하여 스펙트럼 표현력을 높이고 KdV 솔리톤(soliton)의 진동적·분산적 특성을 정확히 포착한다. 단일 솔리톤 전파(형상 보존 평행이동), 이중 솔리톤 상호작용(위상 이동을 동반한 탄성 충돌), 코사인 펄스 초기화(비선형 분산 파열) 등 대표적 사례 연구를 통해, 모델은 보존된 불변량을 유지하면서 KdV 역학의 전형적 거동을 성공적으로 재현한다. Ablation 연구는 불변량 제약 최적화와 사인형 특징 매핑의 결합이 다단계 사전학습 없이도 수렴을 가속하고 장기 안정성을 개선하며 편류를 완화함을 보여준다. 이 결과는 계산적으로 효율적인 불변량 인식 정규화와 사인형 표현의 결합이 KdV 방정식과 같은 Hamiltonian 편미분방정식에 대해 견고하고 에너지가 일관된 PINN을 산출함을 강조한다.
물리 정보 신경망(PINN)은 편미분방정식(PDE)이 지배하는 영역의 모델링에서 넓은 연구적 영향을 미쳐 왔다. 그러나 PINN은 어려운 PDE 영역에서, 또는 보이지 않지만 관련된 PDE 영역으로 일반화할 때 성능이 낮은 것으로 나타났으며, 때로는 자명한 해로 수렴하기까지 한다. 기존에 제안된 해결책들은 데이터 기반 손실과 물리 유도 손실 간 손실 불균형을 줄이기 위한 하이퍼파라미터 튜닝, 커리큘럼 학습(curriculum learning) 기반 학습 전략, 또는 어려운 collocation point의 동적 재샘플링 등을 상세히 다룬다. 이러한 방법들은 특정 함정에 직면한다. 하이퍼파라미터 튜닝은 비용이 많이 들고, 다중 매개변수 PDE 설정에서는 학습 커리큘럼 설계가 모호하며, 동적 재샘플링은 복잡한 PDE 설정에서 여전히 실패한다. 이러한 사고방식에 보완적으로, 초기 PINN 네트워크 가중치가 학습 중 치명적 실패의 출현에도 중요한 역할을 한다고 우리는 본다. 그럼에도 PINN 가중치 초기화의 영향은 놀랍도록 연구가 부족했다. 이를 위해 PINN 수렴 실패를 극복하기 위한 게이트 계층별 최적화(Gated Layerwise Optimization)를 통한 학습된 초기화(Learned Initialization)(LIGO-PINN) 프레임워크를 제안한다. 1D 및 2D PDE 영역, 여기에는 어려운 2D 유체 역학 설정을 포함하여, 엄격한 평가를 통해 우리 방법론이 PINN 실패를 완화하도록 설계된 최신 방법들을 능가함을 보인다. 6개 기준선에 걸친 평균 91.5%의 성능 향상과 가장 강력한 기준선 대비 81% 향상을 달성한다. 또한 LIGO-PINN이 3D 비구조(unstructured) 영역으로 일반화됨을 검증한다. 마지막으로, 세 PDE 영역 전반의 학습 역학을 분석하여 LIGO-PINN의 개선과 전통적 PINN의 수렴 실패를 모두 설명한다. 코드: https://github.com/scailab/ligo-pinn 키워드: 기계 학습, 물리 정보 신경망, 심층 학습, PDE 모델링
낮은 차원 문제($d\leq3$)에서는 스펙트럴 방법이 매우 높은 정확도를 달성할 수 있다. 중간 차원 문제($4 \leq d \lesssim 10$)에서는 sparse grid나 hyperbolic cross와 같은 특정 기법을 통해 스펙트럴 방법이 여전히 실현 가능하다. 그러나 고차원 문제($d\gg 10$)에서는 스펙트럴 방법이 차원의 저주로 인해 어려움을 겪는다. 물리 정보 신경망(PINN)은 이러한 한계를 극복하는 유망한 접근법으로 등장했으며 고차원으로의 확장성을 제공하지만, 종종 정확도와 효율성이 제한된다. 최근 제안된 스펙트럴 정보 신경망(SINN)은 스펙트럴 방법과 PINN을 결합하여 스펙트럴 영역에서 직접 동작함으로써 공간 도함수 계산을 피하고 메모리 소비를 줄인다. 본 연구에서는 조화 분석(harmonic analysis)에서 영감을 받은 계수 감쇠 스케일링과 basis embedding을 통합한 Modified SINN을 도입하여, 고차원 문제에서의 정확도를 향상시키고 알려지지 않은 스펙트럴 계수의 정확한 근사를 가능하게 한다. 정상 상태 및 시간 의존 편미분방정식(PDE)에 대한 수치 실험 결과, Modified SINN은 불완전한 스펙트럴 정보를 갖는 중간 차원 문제에서 sparse grid 스펙트럴 방법을 능가하며, 고차원 문제에서는 PINN보다 우수한 정확도를 달성한다.
본 논문은 PyTorch의 자동 미분(AD) 엔진이 물리 정보 신경망(PINN) 학습을 위해 기울기를 계산하는 과정을 명시적인 수치 값과 함께 추적한다 — 이 설정은 두 단계의 미분을 필요로 한다: 신경망을 통해 물리 도함수 $\hat{y}'(t)=d\hat{y}/dt$를 계산하는 것, 그리고 $\hat{y}'(t)$에 의존하는 손실의 매개변수 기울기 $\nabla_θL$를 계산하는 것. 1-3-3-1 다층 퍼셉트론과 초기값 문제 $y'(t)+y(t)=0$, $y(0)=1$을 사용하여, 모든 노드에서 전체 파이프라인을 추적한다: 순전파 동안 구성되는 계산 그래프, 단일 패스로 22개의 모든 매개변수 기울기를 계산하는 역방향 역전파, 그리고 \texttt{create\_graph=True}가 물리 정보 잔차를 통한 올바른 미분을 가능하게 하는 그래프 위 그래프 메커니즘. 모든 adjoint 값은 Tahimi (2026)의 수기 유도와 대조하여 검증되며, $P/Q$ 민감도 프레임워크와 PyTorch 자동 미분 엔진이 사용하는 벡터-야코비안 곱을 연결한다.
SPARC-Net: A Spectral, Causality-Aware, and Hard-Constrained Physics-Informed Architecture for Stiff and Shock-Dominated Partial Differential Equations
물리 정보 신경망(Physics-Informed Neural Networks, PINNs)은 편미분방정식(PDE)을 푸는 무격자 접근법을 제공하지만, 강성 및 충격파 지배적 문제에서 심각한 성능 저하를 겪는다. 이러한 문제에서는 작은 PDE 잔차가 전역적으로 부정확한 해에 대응할 수 있다. 우리는 이러한 실패가 다중 원인에서 비롯됨을 보인다: (i) 급격한 특징에 대한 스펙트럼 바이어스, (ii) 불균형한 다항 최적화와 손실 가중치 붕괴, (iii) 시간적 인과성 위반, (iv) 해상도가 낮은 콜로케이션의 동시적 상호작용이 그 원인이다. 우리는 이 네 가지 병리를 공동으로 해결하는 통합 아키텍처 및 학습 프레임워크인 SPARC-Net을 제안한다. SPARC-Net은 학습 가능한 스펙트럼 게이트를 갖춘 적응형 다중 스케일 스펙트럼 인코더, 게이트 잔차 백본, 적응형 활성화 함수, 그리고 초기 및 경계 조건을 정확히 강제하는 하드 제약 출력 앙자츠(ansatz)를 활용하여 손실 가중치 붕괴를 구조적으로 제거한다. 학습에는 안정화된 그래디언트 노름 손실 균형 조정, 하한이 설정된 인과성 존중 잔차 가중치, 그리고 잔차 기반 적응적 콜로케이션(RAD)이 사용된다. 점성 Burgers', Allen-Cahn, 대류(beta=30), 반응의 네 가지 표준 벤치마크에 걸쳐 정확한 해석 해 및 고차 스펙트럼 참조 해와 비교 검증한 결과, SPARC-Net은 기본 PINNs 대비 상당한 개선을 달성한다: 상대 L2 오차가 Burgers'에서 1.47e-1에서 1.14e-1로(22% 감소), Allen-Cahn에서 9.93e-1에서 5.78e-2로(94% 감소), 반응 방정식에서 9.82e-1에서 3.54e-3으로(100% 감소) 줄어든다. 쌍곡선 수송을 위한 특성 좌표 인코더는 대류 오차를 5.14e-1에서 9.88e-5로 추가 감소시킨다(100% 감소). 우리는 5개 시드의 평균 ± 표준편차 오차, Wilcoxon 유의성 검정, 완전한 절제 연구(ablation studies), 하이퍼파라미터 민감도 분석, 2D 열방정식으로의 확장, 그리고 매개변수 매칭 기준선과의 비교 결과를 보고한다.
Physics-informed neural networks (PINNs) have shown promise for solving partial differential equations (PDEs); however, their synchronous optimization treats residuals of different regions and constraints equally, which is inconsistent with the progressive "from source to response" physical information propagation path, degrading training stability and accuracy. Existing causal training methods focus mainly on the temporal dimension, lacking a unified characterization of spatial and boundary dimensions. To address this, we define a unified class of training priorities according to the physical information propagation path: premise regions should be learned before dependent regions; temporal, spatial, and boundary priorities are instances of this principle. Using neural tangent kernel (NTK) dynamics, we theoretically analyze why standard PINNs do not obey this priority: their residual convergence order is governed by the NTK spectrum and is independent of the propagation path. Accordingly, we propose a unified multi-dimensional priority-constraint framework that partitions the domain along the propagation path and constructs negative-exponential residual weights, converting the physical propagation order into a training priority. For cases with coexisting priorities, we introduce a directional compatibility coefficient to clarify that "orthogonal directions can be coupled multiplicatively in synergy, whereas coaxial opposite directions cannot." Benchmark cases show that this method consistently improves the convergence behavior and prediction accuracy of PINNs on problems with clear propagation paths or constraint-dominated structures, without modifying the network architecture and with controllable additional computational cost.
신경 접선 커널(NTK)은 과매개변수화 체계에서 신경망의 학습 동역학을 분석하는 강력한 도구 중 하나이다. 최근 이 이론적 프레임워크는 선형 편미분방정식(PDE)을 풀기 위한 물리 정보 신경망(PINNs)—매우 인기 있는 신경망 기반 PDE 솔버의 한 종류—으로 확장되었다. 이 분석에서 연관된 NTK의 양정성(positivity)은 핵심적인 역할을 한다. 그러나 PINNs에 대한 NTK의 양정성을 확립하는 것은 여러 미분 연산자의 존재로 인해 매우 어렵다. 본 연구에서는 NTK의 관점에서 PINNs를 분석하기 위한 새로운 이론적 프레임워크인 미분 신경 접선 커널(DNTK, Differential Neural Tangent Kernel)을 제안하고, RePU 및 매끄럽지만 비다항식인 활성화 함수를 포함한 광범위한 활성화 함수 클래스에 대해, 그리고 모든 선형 미분 연산자에 대해, 얕은 신경망과 깊은 신경망 모두에서 무한 너비 DNTK의 양정성을 확립한다. 이 이론적 결과들은 PINNs 학습을 위한 그래디언트 기반 알고리즘 분석의 토대를 마련한다.
신경 상미분방정식(Neural Ordinary Differential Equations, NODEs), 물리 정보 신경망(Physics-Informed Neural Networks, PINNs), 보편 미분방정식(Universal Differential Equations, UDEs)과 같은 과학적 기계학습(Scientific Machine Learning, SciML) 방법론은 구조적 사전지식이 신뢰할 수 있는 지배 방정식을 반영할 때 가장 효과적이다. 본 연구는 이 가정이 위반될 경우 어떤 일이 발생하는지를 탐구한다. 거시경제 예측을 스트레스 테스트 도메인으로 활용하여, 희소한 연간 데이터, 다중 시간적 분할, 5개의 랜덤 시드를 사용해 23개국을 대상으로 ARIMA, LSTM, NODE, PINN, UDE 등 5가지 모델 패밀리를 평가하였다. 실험 결과, 평가된 모델 중 어느 것도 일관되게 강력한 예측 성능을 달성하지 못하였으며, 이는 저빈도 거시경제 예측의 어려움을 부각시킨다. 그러나 명확한 상대적 위계가 나타났는데, 덜 제약된 모델, 특히 ARIMA와 NODE가 PINN 및 UDE와 같이 휴리스틱 사전지식으로 더 강하게 제약된 모델을 일관되게 능가하였다. 우리는 이를 SciML의 기각으로 해석하지 않고, 구조적 사전지식이 데이터 생성 과정과 일치하지 않을 때 잘못된 정규화기(misregularizer)로 작용할 수 있다는 진단적 결과로 해석한다. 사전지식 불일치(prior misalignment), 체제 전환(regime shifts), 구조적 단절(structural breaks), 최적화 불안정성을 포함한 실패 양상을 식별하고, SciML 실무자들이 더 많은 구조가 유익하다고 가정하기에 앞서 구조가 실제로 도움이 되는지를 검증해야 한다고 주장한다.