편미분방정식(PDE)의 해 연산자(solution operator)를 학습하려면 그리드와 스케일에 걸쳐 공간 구조를 표현할 수 있는 모델이 필요합니다. 이는 학습된 연산자가 자기회귀(autoregressive) 방식으로 자주 사용되는 시변 문제에서 특히 중요해집니다. 즉, 예측된 각 상태가 미래 상태를 예측하기 위한 입력으로 다시 피드백됩니다. 이러한 환경에서는 작은 공간적 오류가 학습된 동역학을 통해 반복적으로 전파되어 불안정성과 드리프트를 초래하고 장기적인 해 충실도를 훼손할 수 있습니다. 본 논문에서는 연속 공간에서 정의되고 평가(evaluation) 시점에만 이산화되는 필터인 메시 프리 합성곱(Mesh-Free Convolutions, MFC)을 제안합니다. 이를 통해 동일한 학습 필터를 여러 해상도에 걸쳐 적용할 수 있습니다. 그리드 의존적 스텐실이나 고정된 스펙트럼 컷오프를 강제하는 대신, MFC는 매끄러운 스케일 의존적 필터링을 학습하며 수송(transport)과 유사한 동작을 위한 방향성 항을 포함합니다. 유체역학 및 일기 예보 벤치마크 전반에서 MFC 기반 모델은 안정적인 장기 롤아웃(rollout)을 생성하고, 해상도 간에 안정적으로 전이되며, 장기 통계치를 더 잘 보존합니다. 이러한 결과는 연속적이고 메시가 없는 필터링이 특히 자기회귀 예측에서 PDE 연산자 학습을 위한 유용한 귀납적 바이어스(inductive bias)임을 시사합니다.
물리 정보 신경망(PINNs)은 머신러닝을 사용하여 편미분 방정식(PDEs)을 해결하는 데 널리 사용되는 데이터 프리(data-free) 방법입니다. 최근 생성적 적대 신경망(GANs)의 발전과 함께 적대적 학습은 복잡한 데이터 기반 문제를 모델링하는 데 강력한 성능을 보여주었으나, 결정론적 물리 정보 기반 PDE 해법에서 GAN의 활용은 여전히 제한적입니다. 본 연구에서는 먼저 스펙트럼 바이어스(spectral bias), 손실 불균형(loss imbalance), 옵티마이저 정체(optimizer stagnation)를 포함하여 PDE 해결을 위한 표준 PINN의 한계점을 식별합니다. 그런 다음 급격한 전선(sharp front) 또는 충격파 전선(shock-front) 거동을 보이는 PDE의 데이터 프리 솔루션을 개선하도록 설계된 통합 결정론적 잔차-적대적 프레임워크인 생성적 적대 물리 정보 신경망(Gen-PINNs)을 제안합니다. 생성자(generator)는 동적으로 가중치가 부여된 물리 정보 손실 요소를 사용하여 기저 PDE 해를 학습하며, 별도의 판별자(discriminators)는 이상적인 무잔차(zero-residual) 상태에 대해 상호보완적인 PDE 잔차 특성을 평가합니다. 나아가 본 프레임워크는 고주파 공간 성분을 분해하기 위한 푸리에 표현(Fourier representation), 주파수 의존적 해 오차를 정량화하기 위한 정규직교 스펙트럼 진단(orthonormal spectral diagnostic), 물리, 초기 조건, 경계 조건 및 적대적 손실 목적을 위한 수정된 그래디언트 기반 동적 가중치 시스템 등 여러 방법론적 구성 요소를 개발하고 적용합니다. Gen-PINNs는 버거스(Burgers), 앨런-칸(Allen-Cahn), 쿠라모토-시바신스키(Kuramoto-Sivashinsky) 방정식을 포함한 비선형 및 고차 PDE에 대해 표준 PINN과 비교 검증되었습니다. 연구 결과는 급격한 전선, 강체(stiff) 및 고차 PDE 솔루션 전반에서 정확도와 수렴의 상당한 개선을 보여주며, 까다로운 비선형 PDE를 해결하기 위한 효과적인 접근 방식으로서 결정론적 잔차-적대적 학습의 잠재력을 강조합니다.
물리 정보 신경망(PINN)은 편미분방정식(PDE) 역문제에서 종종 불량 조건 최적화(ill-posed optimization), 손실 함수 간의 충돌, 매개변수 보상(parameter compensation) 문제에 직면합니다. 전이학습(transfer learning)은 소스 태스크의 표현을 재사용할 수 있지만, 소스와 타깃의 물리적 특성이 다를 경우 직접적인 미세조정(fine-tuning)은 부정적 전이(negative transfer)를 유발하여 장(field) 오차는 낮으나 부정확한 매개변수 복원으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 PINN 역 전이학습을 위한 타깃 증거 기반 표현 교정 기법인 타깃 유도 선택적 재가중 PINN(Target-Guided Selective Reweighting PINN, TGSR-PINN)을 제안합니다. TGSR-PINN은 소스 신경망의 가중치와 편향을 전이하지만, 타깃 물리 매개변수는 독립적으로 초기화합니다. 타깃에 대한 짧은 적응 후, 고정된 배치에서 1차 테일러 민감도와 사전 활성화 분산을 사용하여 뉴런의 점수를 매깁니다. 이 점수들은 순위 대체(rank fallback)가 포함된 가우시안 혼합 모델(Gaussian mixture model)을 통해 연속적인 약적응(weak-adaptation) 신호로 변환됩니다. 그런 다음 TGSR-PINN은 해당 입력 가중치 행과 편향을 가지치기(pruning)하거나 재설정하지 않고 유계 선택적 소프트 감쇠(bounded selective soft decay)를 적용합니다. 0-소스 고페클레 유입-유출 문제(영이 아닌 디리클레 데이터 및 유출 경계층 포함), Allen-Cahn에서 Burgers로의 교차 PDE 전이, 5% 노이즈가 포함된 반응-확산 역문제에 대한 실험 결과는 TGSR-PINN이 낮은 장 오차를 유지하면서 매개변수 복원 성능을 향상시킴을 보여줍니다. 소거 연구(ablation studies)를 통해 뉴런 타깃 점수화, 약적응 추정, 층 보호 및 선택적 소프트 감쇠가 관찰된 성능 향상에 공동으로 기여함을 확인했습니다.
본 논문에서는 편미분 방정식(PDE)을 풀기 위한 개선된 신경 필드(neural field) 아키텍처를 제시합니다. 현재의 물리 정보 신경망(PINN)은 편미분 방정식을 풀기 위한 유연한 프레임워크를 제공하지만, 고정밀 해를 얻는 데 어려움을 겪고 매개변수 수에 따른 연산 확장성이 떨어집니다. beignet(Bandlimited Embedding with Interpolated Grid Network)이라 명명한 본 모델은 기존 PINN 모델에서 사용되던 무작위 푸리에 특징 임베딩을 학습 가능한 다해상도 푸리에 특징 피라미드로 대체합니다. 연속적인 좌표에서 beignet을 쿼리하기 위해 피라미드의 각 수준에서 푸리에 보간법을 사용하여 입력 좌표의 특징을 반환한 다음, 완전 연결 신경망 트렁크를 통해 이 벡터를 디코딩합니다. 본 모델은 다음과 같은 여러 이점을 제공합니다. 1) 자동 미분으로 계산된 신경망의 도함수와 고속 푸리에 변환(FFT)을 통해 스펙트럼 방식으로 계산된 특징 격자의 도함수를 연쇄 법칙으로 합성함으로써 공간 도함수를 효율적으로 계산할 수 있습니다. 2) 신경망 아키텍처를 확장하는 비효율적인 전략 대신 푸리에 특징 피라미드의 매개변수 수를 확장함으로써 계산 효율적인 방식으로 더 높은 정확도를 달성할 수 있습니다. 3) 표현의 대역 제한(bandlimit)을 직접 제어할 수 있어 다루기 힘든 편미분 방정식에 대해서도 최적화가 더욱 안정적입니다. 본 연구는 beignet이 최신 PINN 방법보다 더 적은 매개변수를 사용하면서도 PDE 벤치마크에서 현저히 더 정확한 해를 도출함을 입증합니다. 나아가 자기유사(self-similar) 비점성 버거스 폭발(Burgers blowup) 문제에서 beignet을 평가하여, 이전에는 계산 비용이 큰 고차 최적화기를 사용해야만 도달할 수 있었던 정확도 수준인 머신 정밀도(machine precision)에 가깝게 Adam만으로 잔차를 최소화할 수 있음을 보여줍니다.
많은 생물학적 과정은 실험 데이터의 양이 증가함에도 불구하고 여전히 불완전하게 이해된 복잡한 동적 메커니즘에 의해 지배됩니다. 생물학적 정보 기반 신경망(BINN)은 미분 방정식을 신경망(neural network) 학습(training)에 임베딩(embedding)하여 희소하고 노이즈가 있는 관측 데이터로부터 구성 연산자를 직접 복원할 수 있도록 함으로써 이러한 과제를 해결하고자 합니다. 그러나 연산자 복원이 아키텍처 설계, 최적화(optimization) 전략 및 데이터 내 정보에 어느 정도 의존하는지는 아직 명확히 밝혀지지 않았습니다. 본 연구에서는 1차원 이류-확산-반응 편미분 방정식(PDE)에 적용된 BINN을 사용하여 이러한 요인들이 기전 추론(inference)에 미치는 영향을 실증적으로 분석합니다. 다양한 문제 전반에 걸쳐 네트워크 표현력, 학습률(learning rate), 손실 가중치, 배치(batch) 크기가 최적화 동작, 재구성 정확도, 연산자 복원에 어떤 영향을 미치는지 조사합니다. 연구 결과, 기전 추론은 단일 측면을 극대화하기보다는 상충하는 목표 간의 균형을 맞춤으로써 좌우된다는 점을 보여줍니다. 적당한 표현력을 가진 아키텍처가 복잡한 네트워크보다 우수한 성능을 보이고, 중간 수준의 학습률이 효율적인 탐험(exploration)과 최적화 안정성의 균형을 이루며, 정확한 연산자 복원을 위해서는 데이터 피팅 손실(loss)과 PDE 잔차 손실 간의 균형이 필요하고, 중간 수준의 배치 크기가 효율적인 매개변수(parameter) 공간 탐험, 계산 효율성 및 재현성 사이에서 최적의 절충안을 제공합니다. 나아가 과적합, 불안정한 최적화, 불량한 기전 복원 등 흔히 발생하는 실패 모드를 인식하기 위한 실용적인 진단법을 제시합니다. 이러한 발견은 생물학적 모델(model) 발견을 위한 신뢰성 있는 도구로서 BINN을 배포하기 위한 가이드라인을 정립하며, 신뢰할 수 있는 기전 추론이 모델 표현력, 최적화, 물리적 일관성, 데이터 정보성의 적절한 균형을 통해 달성됨을 입증합니다.
트랜스포머(Transformer) 기반 신경 연산자(neural operator)는 복잡한 형상에서 편미분방정식(PDE)의 해 연산자를 근사하는 데 뛰어난 성능을 보여왔습니다. 그러나 기존 접근 방식들은 암묵적으로 고정된 도메인 크기를 가정하므로 추론 시 일반화 능력이 제한됩니다. 본 연구에서는 도메인 확장, 즉 학습 중에 접한 것보다 훨씬 더 큰 공간 도메인에서의 제로샷(zero-shot) 추론을 조사합니다. 우리는 이 설정이 근본적으로 공간적 국소성(spatial locality)과 평행이동 동변성(translation equivariance)을 필요로 한다고 주장합니다. 이를 위해 어텐션 로짓(attention logits) 계산에 분해 가능한 바이어스를 도입하여 국소성을 구현할 것을 제안하며, 이는 쿼리-키 내적으로 완전히 분해 가능하고 최적화된 어텐션 커널과 직접 호환되면서도 정밀하게 제어 가능한 국소성을 제공합니다. 회전 위치 임베딩(RoPE)과 결합하여, 트랜스포머 아키텍처를 변경하지 않고도 제어 가능한 공간적 지지 집합(spatial support)을 갖는 표현력 있는 임베딩을 가능하게 합니다. 우리는 두 가지 PDE 벤치마크와 3D 산업용 대기 흐름 응용 분야에서 본 접근 방식이 더 큰 도메인으로의 제로샷 일반화를 크게 향상함을 경험적으로 보여줍니다. 코드와 데이터셋은 https://github.com/cerea-daml/domain-extension 에서 확인할 수 있습니다.
수치 방법과 심층 학습은 편미분방정식(PDE)으로 기술되는 시스템의 모델링과 시뮬레이션을 발전시켜 왔지만, 방정식 수립, 솔버 구성, 시뮬레이션을 설계 및 제어 결정으로 전환하는 일은 여전히 상당한 도메인 전문성과 계산 자원을 요구한다. 대규모 언어 모델(LLM)은 과학적 지식, 수학적 추론, 코드 생성, 도구 사용을 결합하여 이러한 작업을 자동화하고 조율할 기회를 제공한다. 본 논문에서는 발견, 해결, 최적화를 포함한 세 단계에 걸친 LLM 보조 PDE 연구를 검토한다. LLM이 물리적 지식, 수치 방법, 계산 피드백과 어떻게 상호작용하여 모델을 수립하고, 해법 절차를 구현하며, 설계와 제어를 안내하는지 살펴본다. 또한 과학적 타당성, 계산 성능, 워크플로 신뢰성을 평가하기 위한 기존 벤치마크와 평가 관행을 검토한다. 마지막으로, 특정 PDE 문제에 맞춘 수학·물리 추론 개발, 도메인 특화 및 멀티모달 사후 학습을 통한 전이 가능한 도메인 전문성 구축, 개방형 문제를 위한 능동적 실험 설계와 과학적 검증의 통합이라는 상호 연결된 세 가지 과제와 기회를 논의한다. 이러한 방향은 PDE 연구 전반에서 과학적 아이디어와 계산 방법을 개발하고 검증하는 데 LLM이 보다 실질적인 역할을 수행할 수 있는 경로를 제시한다.
물리 정보 신경망(PINN)은 비선형 편미분방정식(PDE)을 풀기 위한 유연한 프레임워크를 제공하지만, 기존 구현은 장기 적분 동안 핵심 물리 불변량을 보존하지 못하는 경우가 많다. 본 논문은 비선형·분산 파동 전파의 전형적인 모델인 비선형 Korteweg-de Vries (KdV) 방정식을 위한 구조 보존 PINN 프레임워크를 제안한다. 제안 방법은 질량 보존과 Hamiltonian 에너지 보존을 손실 함수에 직접 내장하여, 학습과 예측 전 과정에서 물리적으로 일관되고 에너지가 안정적인 진화를 보장한다. 표준 tanh 기반 PINN과 달리, 본 접근법은 사인형 활성화 함수를 사용하여 스펙트럼 표현력을 높이고 KdV 솔리톤(soliton)의 진동적·분산적 특성을 정확히 포착한다. 단일 솔리톤 전파(형상 보존 평행이동), 이중 솔리톤 상호작용(위상 이동을 동반한 탄성 충돌), 코사인 펄스 초기화(비선형 분산 파열) 등 대표적 사례 연구를 통해, 모델은 보존된 불변량을 유지하면서 KdV 역학의 전형적 거동을 성공적으로 재현한다. Ablation 연구는 불변량 제약 최적화와 사인형 특징 매핑의 결합이 다단계 사전학습 없이도 수렴을 가속하고 장기 안정성을 개선하며 편류를 완화함을 보여준다. 이 결과는 계산적으로 효율적인 불변량 인식 정규화와 사인형 표현의 결합이 KdV 방정식과 같은 Hamiltonian 편미분방정식에 대해 견고하고 에너지가 일관된 PINN을 산출함을 강조한다.
낮은 차원 문제($d\leq3$)에서는 스펙트럴 방법이 매우 높은 정확도를 달성할 수 있다. 중간 차원 문제($4 \leq d \lesssim 10$)에서는 sparse grid나 hyperbolic cross와 같은 특정 기법을 통해 스펙트럴 방법이 여전히 실현 가능하다. 그러나 고차원 문제($d\gg 10$)에서는 스펙트럴 방법이 차원의 저주로 인해 어려움을 겪는다. 물리 정보 신경망(PINN)은 이러한 한계를 극복하는 유망한 접근법으로 등장했으며 고차원으로의 확장성을 제공하지만, 종종 정확도와 효율성이 제한된다. 최근 제안된 스펙트럴 정보 신경망(SINN)은 스펙트럴 방법과 PINN을 결합하여 스펙트럴 영역에서 직접 동작함으로써 공간 도함수 계산을 피하고 메모리 소비를 줄인다. 본 연구에서는 조화 분석(harmonic analysis)에서 영감을 받은 계수 감쇠 스케일링과 basis embedding을 통합한 Modified SINN을 도입하여, 고차원 문제에서의 정확도를 향상시키고 알려지지 않은 스펙트럴 계수의 정확한 근사를 가능하게 한다. 정상 상태 및 시간 의존 편미분방정식(PDE)에 대한 수치 실험 결과, Modified SINN은 불완전한 스펙트럴 정보를 갖는 중간 차원 문제에서 sparse grid 스펙트럴 방법을 능가하며, 고차원 문제에서는 PINN보다 우수한 정확도를 달성한다.
SPARC-Net: A Spectral, Causality-Aware, and Hard-Constrained Physics-Informed Architecture for Stiff and Shock-Dominated Partial Differential Equations
물리 정보 신경망(Physics-Informed Neural Networks, PINNs)은 편미분방정식(PDE)을 푸는 무격자 접근법을 제공하지만, 강성 및 충격파 지배적 문제에서 심각한 성능 저하를 겪는다. 이러한 문제에서는 작은 PDE 잔차가 전역적으로 부정확한 해에 대응할 수 있다. 우리는 이러한 실패가 다중 원인에서 비롯됨을 보인다: (i) 급격한 특징에 대한 스펙트럼 바이어스, (ii) 불균형한 다항 최적화와 손실 가중치 붕괴, (iii) 시간적 인과성 위반, (iv) 해상도가 낮은 콜로케이션의 동시적 상호작용이 그 원인이다. 우리는 이 네 가지 병리를 공동으로 해결하는 통합 아키텍처 및 학습 프레임워크인 SPARC-Net을 제안한다. SPARC-Net은 학습 가능한 스펙트럼 게이트를 갖춘 적응형 다중 스케일 스펙트럼 인코더, 게이트 잔차 백본, 적응형 활성화 함수, 그리고 초기 및 경계 조건을 정확히 강제하는 하드 제약 출력 앙자츠(ansatz)를 활용하여 손실 가중치 붕괴를 구조적으로 제거한다. 학습에는 안정화된 그래디언트 노름 손실 균형 조정, 하한이 설정된 인과성 존중 잔차 가중치, 그리고 잔차 기반 적응적 콜로케이션(RAD)이 사용된다. 점성 Burgers', Allen-Cahn, 대류(beta=30), 반응의 네 가지 표준 벤치마크에 걸쳐 정확한 해석 해 및 고차 스펙트럼 참조 해와 비교 검증한 결과, SPARC-Net은 기본 PINNs 대비 상당한 개선을 달성한다: 상대 L2 오차가 Burgers'에서 1.47e-1에서 1.14e-1로(22% 감소), Allen-Cahn에서 9.93e-1에서 5.78e-2로(94% 감소), 반응 방정식에서 9.82e-1에서 3.54e-3으로(100% 감소) 줄어든다. 쌍곡선 수송을 위한 특성 좌표 인코더는 대류 오차를 5.14e-1에서 9.88e-5로 추가 감소시킨다(100% 감소). 우리는 5개 시드의 평균 ± 표준편차 오차, Wilcoxon 유의성 검정, 완전한 절제 연구(ablation studies), 하이퍼파라미터 민감도 분석, 2D 열방정식으로의 확장, 그리고 매개변수 매칭 기준선과의 비교 결과를 보고한다.
Physics-informed neural networks (PINNs) have shown promise for solving partial differential equations (PDEs); however, their synchronous optimization treats residuals of different regions and constraints equally, which is inconsistent with the progressive "from source to response" physical information propagation path, degrading training stability and accuracy. Existing causal training methods focus mainly on the temporal dimension, lacking a unified characterization of spatial and boundary dimensions. To address this, we define a unified class of training priorities according to the physical information propagation path: premise regions should be learned before dependent regions; temporal, spatial, and boundary priorities are instances of this principle. Using neural tangent kernel (NTK) dynamics, we theoretically analyze why standard PINNs do not obey this priority: their residual convergence order is governed by the NTK spectrum and is independent of the propagation path. Accordingly, we propose a unified multi-dimensional priority-constraint framework that partitions the domain along the propagation path and constructs negative-exponential residual weights, converting the physical propagation order into a training priority. For cases with coexisting priorities, we introduce a directional compatibility coefficient to clarify that "orthogonal directions can be coupled multiplicatively in synergy, whereas coaxial opposite directions cannot." Benchmark cases show that this method consistently improves the convergence behavior and prediction accuracy of PINNs on problems with clear propagation paths or constraint-dominated structures, without modifying the network architecture and with controllable additional computational cost.
멀티헤드 Physics-Informed Neural Network(PINN)을 이용해 편미분방정식(PDE) 해 패밀리의 유한 차원 잠재 다양체(latent manifold)를 학습하는 프레임워크를 제안하며, 헤드 직교화 페널티로 잠재 표현의 퇴화를 제거한다. 1차원 점성 버거스 방정식에 적용한 결과, 잠재 차원 20 중 단 2~4개의 주성분이 분산의 약 95%를 포착하는 효과적인 차원 축소가 나타났으며, 푸리에 셸(Fourier shells) 기반 스펙트럴 분해를 통해 독립적인 학습 실행 간 재현 가능한 해 다양체 기하 구조 관측량을 확립한다.
포아송 방정식을 푸는 과매개변수화된 2층 물리 정보 신경망(PINNs)을 학습할 때, 확률적 경사하강법(SGD)과 확률적 경사 흐름(SGF)이 높은 확률 의미에서 선형 수렴함을 이론적으로 증명하였다. 분석의 핵심은 학습 과정에서 그람(Gram) 행렬의 양정치성(positive definiteness)을 보장하는 것이며, 이를 통해 결정론적 알고리즘만 다루던 기존 연구를 확률적 최적화 방법으로 확장하였다.
유한 체적법(finite volume method)의 보존 특성과 딥러닝의 표현력을 결합한 다중 해상도 신경망 프레임워크 MuRFiV를 제안하며, 전체 도메인에서는 서브도메인 평균의 플럭스 기반 업데이트를, 지역 스케일에서는 공유 네트워크를 통한 세밀한 변동 복원을 수행한다. Burgers 방정식, 천수 방정식(shallow water equations), Navier-Stokes 방정식 등 다양한 편미분방정식(PDE) 시스템에서 장기 자기회귀 예측의 안정성과 정확도 면에서 순수 데이터 기반 기준 모델들을 크게 능가함을 입증하였다.
물리 정보 신경망(PINN)에서 PDE 파라미터를 학습 전에 왜곡하면 손실은 정상 수준인데 해는 크게 틀리는 침묵 실패(silent failure)가 Burgers·Navier-Stokes cavity·대류-확산 등 세 PDE에서 나타나며, 낮은 잔차 손실만으로는 물리적 정확성을 보장할 수 없다. 6가지 후보 방어는 모든 조건에서 신뢰할 만한 탐지에 실패했고, 재학습 없이 PDE 잔차 손실을 파라미터 값에 따라 스윕(sweep)해 손실 최소점에서 진짜 학습 파라미터를 외부 데이터 없이 복구하는 사후(post-hoc) 방어를 제안한다.
Inverse Problem for Partial Differential Equations with Jump Discontinuities in Coefficients by Two-stage Physics-Informed Deep Learning and Statistical Mixture Models
점프 불연속 계수를 갖는 편미분방정식(PDE) 역문제를 위해 이중 네트워크 물리 정보 신경망(PINN)으로 계수를 샘플링하고 베이즈 가우시안 혼합 모델(GMM)과 birth-death 마르코프 체인으로 계수 체제와 전이 후보를 추정한 뒤 구간별 상수 형식으로 제약 정제하는 2단계 물리 정보 심층학습 프레임워크를 제안한다. 다양한 PDE 수치 실험에서 기존 방법 대비 수용 가능한 계산 비용으로 계수 식별과 해 재구성의 정확성과 적응성을 확인했다.
비정상(non-stationary) 편미분방정식(PDE)은 과학적 계산 전반에 걸쳐 나타나며, 지배적인 주파수 성분과 에너지 분포가 시간에 따라 변화할 수 있다. 많은 스펙트럼 신경 연산자들이 PDE 풀이에 효율적이지만, 롤아웃 단계 전반에 걸쳐 공유된 스펙트럼 응답을 적용함으로써 비정상 시스템의 시변 스펙트럼과 불일치가 발생한다. 이 문제를 해결하기 위해, 우리는 스펙트럼 블록 내부에 학습 가능한 시간-주파수 게이팅을 갖춘 상태 적응형 프레임워크인 시간-주파수 게이팅 스펙트럼 신경 연산자(TF-SNO)를 제안한다. TF-SNO는 현재 상태로부터 압축된 주파수 도메인 및 물리 공간 통계를 추출하여 변조 계수를 생성함으로써, 스펙트럼 응답이 동역학과 함께 진화할 수 있도록 한다. TF-SNO는 명시적인 시간 차원이나 시간 임베딩을 도입하지 않고 진화하는 상태로부터 시간적 변화를 암묵적으로 학습하여 모델링 복잡도를 낮게 유지한다. 또한 적응형 연산자 블록을 임베딩하여 다중 스케일 특징을 정확히 포착함으로써 장기 롤아웃 안정성을 향상시킨다. 1D 및 2D의 6개 비정상 PDE 벤치마크에 대한 실험에서 TF-SNO는 강력한 기준 모델들에 비해 예측 오차를 크게 줄이고 강건성을 향상시켰으며, 특히 장기 롤아웃에서 뚜렷한 성능 향상을 보였다. 이는 비정상 물리 시스템 모델링에서 상태 의존적 스펙트럼 적응의 효과를 입증한다.
물리 정보 신경망(PINNs)은 신경망 학습에 물리 법칙을 임베딩하여 편미분 방정식(PDEs)을 해결합니다. 그러나 물리 정보 손실의 고도로 비볼록(non-convex)하고 다항적인 구조로 인해, 성능은 불안정한 수렴, 학습 정체, 아키텍처 및 최적화 하이퍼파라미터에 대한 강한 민감성 문제를 겪습니다. 이러한 설정에서 외부 루프 하이퍼파라미터 탐색은 이질적인 파라미터에 대한 노이즈가 많은 블랙박스 최적화 문제이므로, 고전적인 지역적 또는 그래디언트 기반 전략은 쉽게 최적이 아닌 영역에 갇히게 됩니다. 진화 알고리즘은 집단 기반 탐험과 혼합된 미분 불가능한 탐색 공간을 처리할 수 있는 능력을 통해, 유망한 구성을 발견하는 더 강건한 메커니즘을 제공합니다. 우리는 고정된 계산 예산 하에서 솔루션 정확도와 강건성을 향상시키기 위해 PINNs 학습의 탐험과 활용 부분을 결합한 진화 알고리즘 기반의 2단계 접근 방식을 제안하고 조사합니다. 첫 번째 단계에서는 하이퍼파라미터 선택을 블랙박스 외부 루프 문제로 간주하여, 후보 구성을 빠르게 선별하기 위해 축소된 에포크(truncated epochs)로 저충실도(low-fidelity) 학습을 수행합니다. 두 번째 단계에서는 가장 유망한 후보만이 표준 그래디언트 기반 최적화 도구를 사용하여 완전히 학습되어 솔루션을 정교화합니다. Advection, Klein-Gordon 및 Helmholtz 방정식의 세 가지 대표적인 문제에 대한 평가 결과, 제안하는 방법은 표준 학습 방식보다 일관되게 우수한 성능을 보이며 제한된 계산 자원 내에서 현저히 낮은 평균 오차를 달성했습니다.
편미분 방정식(PDEs)은 복잡한 물리, 생물, 공학 시스템을 모델링하는 데 중추적인 역할을 합니다. 전통적인 수치 솔버는 견고하지만 메쉬 의존성으로 인해 과도한 계산 비용이 드는 경우가 많은 반면, 최근의 물리 정보 신경망(PINNs)은 메쉬 프리(mesh-free) 대안을 제공하지만 종종 느린 수렴과 최적화 불안정성 문제를 겪습니다. 이러한 격차를 해소하기 위해 본 논문은 Physics-Informed Broad Learning System (PIBLS)를 제안합니다. PIBLS는 편미분 방정식 풀이를 직접적인 최소제곱 최적화로 재구성하는 새로운 역전파 없는(backpropagation-free) 프레임워크입니다. 우리는 이 프레임워크 내의 알고리즘을 개선하여 비선형 편미분 방정식을 효율적으로 처리할 수 있도록 했으며, 이러한 방정식에 대한 PIBLS의 범용 근사 성질을 확립하는 엄밀한 수학적 증명을 제공합니다. 선형 및 비선형 편미분 방정식에 대한 실험 결과, PIBLS는 기존 PINNs보다 1~3자릿수(orders of magnitude) 더 빠르면서도 훨씬 높은 해 정확도를 달성하는 것으로 나타났습니다. 이 프레임워크는 과학적 기계 학습을 위한 계산 효율적인 패러다임을 제공하며, 실시간 시뮬레이션 및 설계 최적화 작업을 위한 실용적이고 고속인 대안을 제공합니다.
디락 델타 소스를 포함하는 편미분 방정식(PDE)에서 물리 인식 신경망(PINNs)의 근사화 오류를 해결하기 위해, PINNs를 잔차 최소 제곱(RLS)으로 해석하고 방사형 기저 함수(RBF) 확장을 통해 약한 형식 방정식을 직접 통합하는 방법을 제안합니다. 제안된 RBF-RLS 방식은 신경 접선 커널(NTK) 이론을 통해 분석되었으며, 지하수 유동 및 이동 문제에서 PINNs가 겪는 잔차 수렴 실패 문제를 극복하고 정방향 및 역방향 해석에서 우수한 성능을 보였습니다.