arXiv:2606.12735v1 cs.LG

디락 델타 소스를 포함하는 편미분방정식을 위한 물리 인식 신경망과 방사형 기저 함수

Physics-Informed Neural Networks and Radial Basis Functions for PDEs with Dirac Delta Sources

Manuel Reyna, Alexandre Tartakovsky

제출 2026-06-10

한국어 초록

물리 인식 신경망(Physics-Informed Neural Networks, PINNs)은 정방향 및 역방향 편미분방정식(PDE)을 푸는 머신러닝 방법이다. 외력항, 경계 조건 또는 초기 조건에 디락 델타 함수가 포함된 PDE에 PINNs를 적용할 때는 이를 부드러운 대리 함수로 근사해야 하며, 이 관행은 상당한 모델링 오류를 유발할 수 있다. 본 연구에서는 PINNs를 잔차 최소제곱(Residual Least Squares, RLS) 방법으로 해석하는 관점을 활용하여, 약한 형식(weak-form) 방정식을 적분함으로써 디락 델타 항을 직접 다룰 수 있음을 보인다. PINN 이외의 RLS 공식화 가운데 방사형 기저 함수(Radial Basis Function, RBF) 확장(단층 RBF 네트워크(single-layer RBF Network)라고도 불림)에 초점을 맞춘다. PINNs에서 디락 델타를 적분하여 제거하면 잔차가 0으로 수렴하지 못하는 반면, RBF-RLS는 수송(transport) 문제에 대해 일관되게 우수한 정방향 및 역방향 해를 제공함을 보인다. 이 결과를 신경 접선 커널(Neural Tangent Kernel, NTK) 이론으로 설명한다. 다공성 매체와 하천에서의 지하수 유동 및 수송을 나타내는 선형 PDE에 대해 두 접근법을 모두 검증한다. 합성 데이터, 노이즈가 포함된 합성 데이터, 실측 데이터에 맞추는 역문제를 푼다.

원문 초록

Physics-Informed Neural Networks (PINNs) are a machine learning method for solving forward and inverse Partial Differential Equations (PDEs). When applied to PDEs with Dirac delta functions in the forcing terms, boundary conditions, or initial conditions, PINNs require approximating them with smooth surrogate functions, a practice that can introduce significant modeling errors. In this work, we exploit the interpretation of PINNs as Residual Least Squares (RLS) methods and show that this perspective enables direct treatment of Dirac delta terms by integrating the weak-form equation. Among RLS formulations other than PINN, we focus on the Radial Basis Function (RBF) expansion (also known as a single-layer RBF Network). We show that while integrating out the Dirac delta in PINNs causes residuals to fail to converge to zero, RBF-RLS consistently provides good forward and inverse solutions to transport problems. We explain this finding using the Neural Tangent Kernel (NTK) theory. We test both approaches on linear PDEs that represent groundwater flow and transport in porous media and rivers. We solve inverse problems to fit synthetic data, noisy synthetic data, and real-world measurements.

요약

디락 델타 소스를 포함하는 편미분 방정식(PDE)에서 물리 인식 신경망(PINNs)의 근사화 오류를 해결하기 위해, PINNs를 잔차 최소 제곱(RLS)으로 해석하고 방사형 기저 함수(RBF) 확장을 통해 약한 형식 방정식을 직접 통합하는 방법을 제안합니다. 제안된 RBF-RLS 방식은 신경 접선 커널(NTK) 이론을 통해 분석되었으며, 지하수 유동 및 이동 문제에서 PINNs가 겪는 잔차 수렴 실패 문제를 극복하고 정방향 및 역방향 해석에서 우수한 성능을 보였습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12735v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10897v1cs.LG공통 태그 physics-informed neural networks, partial differential equations

Gen-PINNs: 편미분 방정식 해결을 위한 생성적 적대 물리 정보 신경망

Gen-PINNs: Generative Adversarial Physics Informed Neural Networks for solving partial differential equations

물리 정보 신경망(PINNs)은 머신러닝을 사용하여 편미분 방정식(PDEs)을 해결하는 데 널리 사용되는 데이터 프리(data-free) 방법입니다. 최근 생성적 적대 신경망(GANs)의 발전과 함께 적대적 학습은 복잡한 데이터 기반 문제를 모델링하는 데 강력한 성능을 보여주었으나, 결정론적 물리 정보 기반 PDE 해법에서 GAN의 활용은 여전히 제한적입니다. 본 연구에서는 먼저 스펙트럼 바이어스(spectral bias), 손실 불균형(loss imbalance), 옵티마이저 정체(optimizer stagnation)를 포함하여 PDE 해결을 위한 표준 PINN의 한계점을 식별합니다. 그런 다음 급격한 전선(sharp front) 또는 충격파 전선(shock-front) 거동을 보이는 PDE의 데이터 프리 솔루션을 개선하도록 설계된 통합 결정론적 잔차-적대적 프레임워크인 생성적 적대 물리 정보 신경망(Gen-PINNs)을 제안합니다. 생성자(generator)는 동적으로 가중치가 부여된 물리 정보 손실 요소를 사용하여 기저 PDE 해를 학습하며, 별도의 판별자(discriminators)는 이상적인 무잔차(zero-residual) 상태에 대해 상호보완적인 PDE 잔차 특성을 평가합니다. 나아가 본 프레임워크는 고주파 공간 성분을 분해하기 위한 푸리에 표현(Fourier representation), 주파수 의존적 해 오차를 정량화하기 위한 정규직교 스펙트럼 진단(orthonormal spectral diagnostic), 물리, 초기 조건, 경계 조건 및 적대적 손실 목적을 위한 수정된 그래디언트 기반 동적 가중치 시스템 등 여러 방법론적 구성 요소를 개발하고 적용합니다. Gen-PINNs는 버거스(Burgers), 앨런-칸(Allen-Cahn), 쿠라모토-시바신스키(Kuramoto-Sivashinsky) 방정식을 포함한 비선형 및 고차 PDE에 대해 표준 PINN과 비교 검증되었습니다. 연구 결과는 급격한 전선, 강체(stiff) 및 고차 PDE 솔루션 전반에서 정확도와 수렴의 상당한 개선을 보여주며, 까다로운 비선형 PDE를 해결하기 위한 효과적인 접근 방식으로서 결정론적 잔차-적대적 학습의 잠재력을 강조합니다.

arXiv:2605.24278v2cs.LG공통 태그 physics-informed neural networks, partial differential equations

물리 정보 신경망을 위한 푸리에 특징 피라미드

Fourier Feature Pyramids for Physics-Informed Neural Networks

본 논문에서는 편미분 방정식(PDE)을 풀기 위한 개선된 신경 필드(neural field) 아키텍처를 제시합니다. 현재의 물리 정보 신경망(PINN)은 편미분 방정식을 풀기 위한 유연한 프레임워크를 제공하지만, 고정밀 해를 얻는 데 어려움을 겪고 매개변수 수에 따른 연산 확장성이 떨어집니다. beignet(Bandlimited Embedding with Interpolated Grid Network)이라 명명한 본 모델은 기존 PINN 모델에서 사용되던 무작위 푸리에 특징 임베딩을 학습 가능한 다해상도 푸리에 특징 피라미드로 대체합니다. 연속적인 좌표에서 beignet을 쿼리하기 위해 피라미드의 각 수준에서 푸리에 보간법을 사용하여 입력 좌표의 특징을 반환한 다음, 완전 연결 신경망 트렁크를 통해 이 벡터를 디코딩합니다. 본 모델은 다음과 같은 여러 이점을 제공합니다. 1) 자동 미분으로 계산된 신경망의 도함수와 고속 푸리에 변환(FFT)을 통해 스펙트럼 방식으로 계산된 특징 격자의 도함수를 연쇄 법칙으로 합성함으로써 공간 도함수를 효율적으로 계산할 수 있습니다. 2) 신경망 아키텍처를 확장하는 비효율적인 전략 대신 푸리에 특징 피라미드의 매개변수 수를 확장함으로써 계산 효율적인 방식으로 더 높은 정확도를 달성할 수 있습니다. 3) 표현의 대역 제한(bandlimit)을 직접 제어할 수 있어 다루기 힘든 편미분 방정식에 대해서도 최적화가 더욱 안정적입니다. 본 연구는 beignet이 최신 PINN 방법보다 더 적은 매개변수를 사용하면서도 PDE 벤치마크에서 현저히 더 정확한 해를 도출함을 입증합니다. 나아가 자기유사(self-similar) 비점성 버거스 폭발(Burgers blowup) 문제에서 beignet을 평가하여, 이전에는 계산 비용이 큰 고차 최적화기를 사용해야만 도달할 수 있었던 정확도 수준인 머신 정밀도(machine precision)에 가깝게 Adam만으로 잔차를 최소화할 수 있음을 보여줍니다.

arXiv:2607.05271v3cs.LG공통 태그 physics-informed neural networks, partial differential equations

물리 정보 신경망 역문제를 위한 타깃 유도 선택적 재가중: 전이학습 접근법

Target-Guided Selective Reweighting for Physics-Informed Neural Network Inverse Problems: A Transfer Learning Approach

물리 정보 신경망(PINN)은 편미분방정식(PDE) 역문제에서 종종 불량 조건 최적화(ill-posed optimization), 손실 함수 간의 충돌, 매개변수 보상(parameter compensation) 문제에 직면합니다. 전이학습(transfer learning)은 소스 태스크의 표현을 재사용할 수 있지만, 소스와 타깃의 물리적 특성이 다를 경우 직접적인 미세조정(fine-tuning)은 부정적 전이(negative transfer)를 유발하여 장(field) 오차는 낮으나 부정확한 매개변수 복원으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 PINN 역 전이학습을 위한 타깃 증거 기반 표현 교정 기법인 타깃 유도 선택적 재가중 PINN(Target-Guided Selective Reweighting PINN, TGSR-PINN)을 제안합니다. TGSR-PINN은 소스 신경망의 가중치와 편향을 전이하지만, 타깃 물리 매개변수는 독립적으로 초기화합니다. 타깃에 대한 짧은 적응 후, 고정된 배치에서 1차 테일러 민감도와 사전 활성화 분산을 사용하여 뉴런의 점수를 매깁니다. 이 점수들은 순위 대체(rank fallback)가 포함된 가우시안 혼합 모델(Gaussian mixture model)을 통해 연속적인 약적응(weak-adaptation) 신호로 변환됩니다. 그런 다음 TGSR-PINN은 해당 입력 가중치 행과 편향을 가지치기(pruning)하거나 재설정하지 않고 유계 선택적 소프트 감쇠(bounded selective soft decay)를 적용합니다. 0-소스 고페클레 유입-유출 문제(영이 아닌 디리클레 데이터 및 유출 경계층 포함), Allen-Cahn에서 Burgers로의 교차 PDE 전이, 5% 노이즈가 포함된 반응-확산 역문제에 대한 실험 결과는 TGSR-PINN이 낮은 장 오차를 유지하면서 매개변수 복원 성능을 향상시킴을 보여줍니다. 소거 연구(ablation studies)를 통해 뉴런 타깃 점수화, 약적응 추정, 층 보호 및 선택적 소프트 감쇠가 관찰된 성능 향상에 공동으로 기여함을 확인했습니다.

arXiv:2607.07425v2q-bio.QM공통 태그 physics-informed neural networks, partial differential equations

생물학적 정보 기반 신경망을 활용한 신뢰할 수 있는 기전 연산자 복원: 아키텍처 및 최적화 설계를 위한 원칙

Reliable mechanistic operator recovery with biologically-informed neural networks: principles for architecture and optimisation design

많은 생물학적 과정은 실험 데이터의 양이 증가함에도 불구하고 여전히 불완전하게 이해된 복잡한 동적 메커니즘에 의해 지배됩니다. 생물학적 정보 기반 신경망(BINN)은 미분 방정식을 신경망(neural network) 학습(training)에 임베딩(embedding)하여 희소하고 노이즈가 있는 관측 데이터로부터 구성 연산자를 직접 복원할 수 있도록 함으로써 이러한 과제를 해결하고자 합니다. 그러나 연산자 복원이 아키텍처 설계, 최적화(optimization) 전략 및 데이터 내 정보에 어느 정도 의존하는지는 아직 명확히 밝혀지지 않았습니다. 본 연구에서는 1차원 이류-확산-반응 편미분 방정식(PDE)에 적용된 BINN을 사용하여 이러한 요인들이 기전 추론(inference)에 미치는 영향을 실증적으로 분석합니다. 다양한 문제 전반에 걸쳐 네트워크 표현력, 학습률(learning rate), 손실 가중치, 배치(batch) 크기가 최적화 동작, 재구성 정확도, 연산자 복원에 어떤 영향을 미치는지 조사합니다. 연구 결과, 기전 추론은 단일 측면을 극대화하기보다는 상충하는 목표 간의 균형을 맞춤으로써 좌우된다는 점을 보여줍니다. 적당한 표현력을 가진 아키텍처가 복잡한 네트워크보다 우수한 성능을 보이고, 중간 수준의 학습률이 효율적인 탐험(exploration)과 최적화 안정성의 균형을 이루며, 정확한 연산자 복원을 위해서는 데이터 피팅 손실(loss)과 PDE 잔차 손실 간의 균형이 필요하고, 중간 수준의 배치 크기가 효율적인 매개변수(parameter) 공간 탐험, 계산 효율성 및 재현성 사이에서 최적의 절충안을 제공합니다. 나아가 과적합, 불안정한 최적화, 불량한 기전 복원 등 흔히 발생하는 실패 모드를 인식하기 위한 실용적인 진단법을 제시합니다. 이러한 발견은 생물학적 모델(model) 발견을 위한 신뢰성 있는 도구로서 BINN을 배포하기 위한 가이드라인을 정립하며, 신뢰할 수 있는 기전 추론이 모델 표현력, 최적화, 물리적 일관성, 데이터 정보성의 적절한 균형을 통해 달성됨을 입증합니다.

arXiv:2511.00418v2cs.LG공통 태그 physics-informed neural networks, partial differential equations

Korteweg-de Vries (KdV) 방정식을 위한 구조 보존 물리 정보 신경망

Structure-Preserving Physics-Informed Neural Network for the Korteweg--de Vries (KdV) Equation

물리 정보 신경망(PINN)은 비선형 편미분방정식(PDE)을 풀기 위한 유연한 프레임워크를 제공하지만, 기존 구현은 장기 적분 동안 핵심 물리 불변량을 보존하지 못하는 경우가 많다. 본 논문은 비선형·분산 파동 전파의 전형적인 모델인 비선형 Korteweg-de Vries (KdV) 방정식을 위한 구조 보존 PINN 프레임워크를 제안한다. 제안 방법은 질량 보존과 Hamiltonian 에너지 보존을 손실 함수에 직접 내장하여, 학습과 예측 전 과정에서 물리적으로 일관되고 에너지가 안정적인 진화를 보장한다. 표준 tanh 기반 PINN과 달리, 본 접근법은 사인형 활성화 함수를 사용하여 스펙트럼 표현력을 높이고 KdV 솔리톤(soliton)의 진동적·분산적 특성을 정확히 포착한다. 단일 솔리톤 전파(형상 보존 평행이동), 이중 솔리톤 상호작용(위상 이동을 동반한 탄성 충돌), 코사인 펄스 초기화(비선형 분산 파열) 등 대표적 사례 연구를 통해, 모델은 보존된 불변량을 유지하면서 KdV 역학의 전형적 거동을 성공적으로 재현한다. Ablation 연구는 불변량 제약 최적화와 사인형 특징 매핑의 결합이 다단계 사전학습 없이도 수렴을 가속하고 장기 안정성을 개선하며 편류를 완화함을 보여준다. 이 결과는 계산적으로 효율적인 불변량 인식 정규화와 사인형 표현의 결합이 KdV 방정식과 같은 Hamiltonian 편미분방정식에 대해 견고하고 에너지가 일관된 PINN을 산출함을 강조한다.

arXiv:2607.13566v1math.NA공통 태그 physics-informed neural networks, partial differential equations

스펙트럴 정보 신경망은 고차원 PDE에서 스펙트럴 방법을 능가한다

Spectral-Informed Neural Networks Outperform Spectral Methods in High-dimensional PDEs

낮은 차원 문제($d\leq3$)에서는 스펙트럴 방법이 매우 높은 정확도를 달성할 수 있다. 중간 차원 문제($4 \leq d \lesssim 10$)에서는 sparse grid나 hyperbolic cross와 같은 특정 기법을 통해 스펙트럴 방법이 여전히 실현 가능하다. 그러나 고차원 문제($d\gg 10$)에서는 스펙트럴 방법이 차원의 저주로 인해 어려움을 겪는다. 물리 정보 신경망(PINN)은 이러한 한계를 극복하는 유망한 접근법으로 등장했으며 고차원으로의 확장성을 제공하지만, 종종 정확도와 효율성이 제한된다. 최근 제안된 스펙트럴 정보 신경망(SINN)은 스펙트럴 방법과 PINN을 결합하여 스펙트럴 영역에서 직접 동작함으로써 공간 도함수 계산을 피하고 메모리 소비를 줄인다. 본 연구에서는 조화 분석(harmonic analysis)에서 영감을 받은 계수 감쇠 스케일링과 basis embedding을 통합한 Modified SINN을 도입하여, 고차원 문제에서의 정확도를 향상시키고 알려지지 않은 스펙트럴 계수의 정확한 근사를 가능하게 한다. 정상 상태 및 시간 의존 편미분방정식(PDE)에 대한 수치 실험 결과, Modified SINN은 불완전한 스펙트럴 정보를 갖는 중간 차원 문제에서 sparse grid 스펙트럴 방법을 능가하며, 고차원 문제에서는 PINN보다 우수한 정확도를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.