PyTorchKR Papers

최신 논문

총 30편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02252v1cs.LG

통제된 실험 없이 과학적 에뮬레이터에서 반사실적 예측하기

Counterfactual Predictions in Scientific Emulators Without Controlled Experiments

많은 과학적 질문은 한 번도 관측되지 않은 것에 대한 추론을 요구한다: 조건, 개입, 혹은 역사가 달랐다면 어땠을까? 모델은 관측된 데이터에서는 정확하게 예측할 수 있지만, 상관된 입력들을 독립적으로 변화시키는 이러한 가정적(what-if) 질의에서는 실패할 수 있다. 일반적인 해결책은 이러한 요인들이 명시적으로 분리된 통제된 시뮬레이션 데이터를 추가하는 것이지만, 이는 시뮬레이터에 대한 접근을 필요로 하고, 계산 비용이 높을 수 있으며, 시뮬레이터의 모델링 가정을 그대로 물려받는다. 우리는 ReRoute를 소개한다. 이는 사실적(factual) 데이터와 부분적인 메커니즘 지식을 결합하여 목표로 하는 과학적 가정 예측을 수행하는 프레임워크로, 적응을 위한 통제된 개입(intervention) 데이터를 필요로 하지 않는다. ReRoute는 사전학습된 백본(backbone)의 질의 대상 입력을 기준값(reference value)으로 고정한 뒤, 알려진 메커니즘 경로(mechanistic pathway)를 통해 그 변동을 다시 도입하고, 원본 사실적 데이터로 파인튜닝을 수행하며, 하류(downstream) 효과는 학습된 동역학(dynamics)에 맡긴다. 우리는 명시적인 구조적 가정 하에서 이러한 구성에 대한 인과적 식별(causal identification) 결과를 제시하며, 핵심 논증은 Lean을 이용해 기계적으로 검증되었다. 정확한 응답을 얻을 수 있는 통제된 이송-확산(advection-diffusion) 시스템에서 ReRoute가 매우 정확한 반사실적 예측을 달성함을 보인 뒤, 우리는 최신(state-of-the-art) 기후 에뮬레이션(climate emulation)으로 눈을 돌린다. 홀드아웃(held-out)된 결합 기후(coupled-climate) 개입에 대해, ReRoute는 심각한 CO$_2$ 분포 변화(distribution shift) 하에서 전체 기후 오차를 18.2-31.8% 감소시키는 동시에 표준 조건에서의 성능(skill)은 그대로 유지하며, 이러한 데이터를 생성하는 데 드는 상당한 비용을 고려하지 않더라도 추가적인 통제된 시뮬레이션으로 재학습하는 비용의 일부에 불과한 비용으로 이를 달성한다. 마지막으로, 반사실적 기준(reference)이 존재하지 않는 과거 ERA5 재분석(reanalysis) 데이터로 학습된 에뮬레이터에서, ReRoute는 고정 CO$_2$ 반사실적 조건(fixed-CO$_2$ counterfactual) 하에서 관측된 경계 조건(boundary conditions)이 시사하는 지표면 온난화(surface warming)를 상당히 더 많이 보존한다.

arXiv:2609.27739v1cs.LG

MENO: 메모리 효율적 신경 연산자

MENO: Memory-Efficient Neural Operator

우리는 Manifold Function Encoder(MFE)를 기반으로 한 고성능 편미분방정식(PDE) 신경 솔버로서 Memory-Efficient Neural Operator(MENO)를 제안한다. MENO는 세 가지 주요 장점을 갖는다. (1) MENO는 다른 널리 쓰이는 아키텍처 대비 메모리 사용량이 현저히 작고 학습 속도가 훨씬 빠르며, 메모리 사용량이 데이터 해상도와 무관하므로 대규모 모델로의 스케일링 가능성을 지닌다. (2) MENO는 임의의 기하학적 영역과 임의의 이산화를 포함하여 임의 형태의 PDE 입력을 받을 수 있다. 특히 입력 함수와 출력 해가 서로 다른 매니폴드上에 정의되는 cross-geometry 시나리오, 즉 기하학 간 설정을 처리할 수 있다. (3) MENO는 강한 일반화 능력을 보이며, 문헌에 보고된 결과와 비교했을 때 우리가 테스트한 대부분의 벤치마크에서 최고 정확도를 달성한다. 코드는 https://github.com/jpzxshi/MENO 의 GitHub에서 제공되며, 본 논문의 모든 수치 예제는 보고된 결과를 재현하기 위해 단일 명령으로 실행할 수 있다.

arXiv:2607.22811v1cs.LG

하이브리드 기계론-데이터 기반 모델링에서 뉴로-심볼릭 AI로: 무엇, 왜, 어떻게

From Hybrid Mechanistic--Data-Driven Modeling Toward Neuro-Symbolic AI: What, Why, and How

제1원리(first-principles)와 학습된 구성 요소를 결합하는 하이브리드 기계론/데이터 기반 모델은 공정 엔지니어링과 과학적 머신러닝(scientific machine learning)에서 점점 더 많이 사용되고 있다. 일반적인 하이브리드 모델링 설계는 주로 아키텍처와 학습 손실을 통해 명시되며, 이는 도메인 간 비교하거나 검증할 수 있는 공유 의미론적 인터페이스를 위한 제한적인 기반을 제공하고, 기계론적 부분의 인식론적 불확실성(epistemic uncertainty)에는 비교적 적은 관심이 기울여진다. 우리는 이러한 설계를 NeSy 인터페이스의 사례로 재구성함으로써 하이브리드 모델링과 뉴로-심볼릭(NeSy) AI를 연결한다. 그 결과로 얻어진 변환인 Hybrid-to-NeSy(H2N)는 기계론적 지식을 언어(language) 측에, 학습된 모듈을 믿음(belief) 측에, 유효성 영역(validity domains)과 제약을 논리(logic) 측에 배치한다. 각 설계에 대해 H2N은 명시적인 NeSy 추론 함수(functional)와 논리-믿음 분해를 산출한다. 이 분해로부터 우리는 두 가지 지표를 도출한다: 학습된 믿음이 기계론적 구조를 준수하는지를 측정하는 구조적 위반율(structural violation rate, SVR); 그리고 학습된 타당성(plausibility)이 얼마나 집중되어 있는지를 측정하며, 하이브리드 모델의 기계론적 부분에 대한 인식론적 불확실성 역할을 하는 믿음 분산(belief dispersion, BD). 우리는 레이블 노이즈(label noise) 하에서 이진 분류를 위한 구조화된 하이브리드 모델의 사례 연구에 H2N을 적용하고, SVR과 BD가 더 높은 모델이 보류 정확도(held-out accuracy)에서 더 큰 변동성을 보인다는 것을 보여준다. 구조적 분포 이동(structural distribution shift) 하에서 H2N은 외삽(extrapolation) 중 모델의 불확실성을 추가로 정량화하는 반면, 테스트 정확도는 동일한 이동을 사후(post hoc)에만 드러낸다.

arXiv:2607.21688v1physics.flu-dyn

복잡한 유체 흐름을 위한 설명 가능한 양자 압축 기계학습

Explainable quantum-compressed machine learning for complex fluid flows

물리 시스템의 기계학습 서로게이트(surrogate)는 역설에 직면한다. 복잡한 비선형 흐름을 포착하기 위한 표현력(expressivity)의 한계에 부딪히는 설명 가능한 모델과 달리, 표현력이 풍부한 딥 서로게이트는 학습된 역학을 블랙박스로 만드는 대규모 매개변수화(parameterisation)를 통해서만 고충실도(high-fidelity) 시뮬레이션과 일치한다. 여기서 우리는 유체 흐름 서로게이트의 잠재 전파자(latent propagator)를 $524{,}288$개의 학습 가능 매개변수에서 최대 $8$개로 압축하여 이 긴장을 해소하는 양자 압축 기계학습(quantum-compressed machine learning, QCML)을 제안한다. 이 매개변수 축소는 학습된 역학 법칙을 블랙박스 신경망이 아닌 물리적 구성 관계(constitutive relation)의 매개변수 규모로 끌어내려, 표현력을 희생하지 않으면서 서로게이트를 직접 해석 가능하고 제어 가능하게 만든다. 압축은 잠재 스펙트럼을 구성상 정확히 단위원(unit circle)으로 제약하는 유니터리 전파자(unitary propagator)를 갖는 구조화된 양자 회로(structured quantum circuit)로 실현되며, 자기회귀(autoregressive) 롤아웃에서 지수적 오차 증가를 선형 누적으로 대체한다. 고전적 정규화(normalization)는 이 제약을 근사할 뿐이다. 단위성(unitarity)을 향해 페널티가 부과된 양자 영감의 고전적 기준선조차 난류 채널 흐름(turbulent channel flow)에서 하나의 Lyapunov 시간 이내에 붕괴하는 반면, QCML은 전체 롤아웃 동안 안정적으로 유지된다. 회로를 매개변수화하는 공유 위상(phase) 및 결합(coupling) 각도는 모드 주파수(modal frequencies) 및 모드 간 상호작용(inter-mode interactions)에 직접 대응하여, 학습된 역학에 스펙트럼 공간(spectral space)에서의 물리적 해석을 부여한다. 두 개의 환자 특이적(patient-specific) 심혈관 벤치마크(benchmark)에서, 구조화된 QCML 전파자는 표면 압력 스펙트럼(surface pressure spectra), 압력 강하(pressure drop), 벽면 전단 응력(wall shear stress)에 대해 고전적 대응물과 동일한 예측 정확도를 달성한다. 이 결과는 QCML을 과학적 기계학습(scientific machine learning)의 실용적 구성 요소로 확립하고, 실세계 예측에서의 실용적 양자 이점(practical quantum advantage)을 향한 구체적 기여로 제시한다.

arXiv:2607.18020v3cs.LG

FlashPDE: 신경망 PDE 솔버를 위한 드롭인 융합 Triton 연산자 라이브러리

FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers

물리 정보 신경망(PINNs)은 신경망 학습에 물리적 제약을 통합하여 PDE를 풀지만, 대규모 문제는 자동 미분 메모리 오버헤드와 그리드 기반 PDE 연산자의 비효율적 실행에 의해 제한된다. 본 논문은 그리드 기반 과학적 머신러닝을 위한 드롭인 융합 연산자 라이브러리인 FlashPDE를 제안한다. FlashPDE는 분절된 PyTorch 유한차분 실행을 미분 가능한 Triton 커널로 대체한다. 각 연산자는 융합 스텐실 평가, 해석적 이산-수반 역전파, 경계 그래디언트 보정을 통합 PyTorch 자동 미분 Function 인터페이스 내에서 통합한다. 이 라이브러리는 1D--3D 타원, 포물선, Navier--Stokes 계에 걸친 17가지 구성을 포괄하는 14개의 미분 가능 PDE 연산자를 제공하며, 신경망 아키텍처 및 학습 전략과 독립적이다. NVIDIA A100 GPU에서의 실험 결과, FlashPDE는 좌표 기반 자동 미분 대비 피크 메모리 사용량을 최대 37.0배 줄이고, eager PyTorch 유한차분 구현 대비 CUDA 커널 실행 횟수를 최대 3.5배 줄인다. 6개의 대표 PDE 벤치마크에서 FlashPDE는 PyTorch 유한차분 기준과 수치적 일치를 유지하면서 end-to-end time-to-solution 기준 최대 2.30배 속도 향상과 커널 수준 최대 19.2배 가속을 달성한다. FlashPDE는 PyTorch 생태계 내에서 미분 가능 PDE 솔버와 GPU 최적화 수치 계산을 연결하는 하드웨어 효율적 실행 층을 제공한다.

arXiv:2607.20857v1cs.LG

스케일 인식 신경 복원을 갖춘 다중 수준 그래프 웨이블릿 압축 센싱

Multilevel Graph Wavelet Compressed Sensing with Scale-Aware Neural Recovery

신경 연산자(neural operator)와 물리 정보 신경망(physics-informed neural network)과 같은 과학적 머신러닝(scientific machine learning) 방법은 공학 응용과 역문제(inverse problem)를 발전시켜 왔지만, 이들의 학습은 일반적으로 대량의 시뮬레이션 데이터를 필요로 한다. 이로 인해 데이터 준비와 모델 학습 비용이 커진다. 우리는 Graph Wavelet Compressed Sensing(GWCS)을 제안한다. 이는 스펙트럴 그래프 웨이블릿 변환(spectral graph wavelet transform)을 사용해 그래프 신호를 희소하고 해석 가능한 웨이블릿 영역 표현으로 나타냄으로써 그래프 신호를 오프라인으로 압축하는 학습 기반 프레임워크이다. 이 프레임워크는 주어진 압축 비율에 대해 각 스케일에서 고에너지 웨이블릿 계수를 보존하는 비모수적 다중 수준 중요도 샘플러와, 희소 계수로부터 신호를 복원하는 스케일 인식 그래프 신경망을 결합한다. 제안 프레임워크를 무작위 그래프 위의 합성 근사 대역 제한(band-limited) 그래프 신호와, Turbulent Radiative Layer, Viscoelastic Instability, Kolmogorov Flow, Dynamic Stall을 포함하는 메시(mesh) 기반 4개의 PDE 시뮬레이션 데이터셋에서 평가한다. 그래프 신호 샘플링 방법과 그래프 오토인코더 베이스라인과 비교한 결과, 이 프레임워크가 기존 벤치마크 대비 높은 복원 충실도와 상당한 데이터 압축을 달성함을 보여준다.

arXiv:2607.14855v1math.NA

구조 보존 신경망과 엔트로피 변수를 이용한 Burgers 방정식의 아계 모수화

Subgrid-Scale Parameterization in Burgers' Equation Using Structure-Preserving Neural Networks and Entropy Variables

우리는 편미분방정식의 거친(coarse) 시뮬레이션에서 아계(subgrid-scale, SGS) 모수화를 개발하기 위한 기계학습 접근법을 제시한다. Burgers 방정식의 거친 시뮬레이션에서 아계 플럭스(subgrid flux)를 학습하기 위해 구조 보존 신경망과 엔트로피 변수를 활용한다. 특히, 아계 보정을 두 가지 구성 요소로 명시적으로 분리하는 분리형 신경망 아키텍처를 사용한다: 보존적 플럭스 포텐셜(Flux Potential) 네트워크와 와류 점성(Eddy Viscosity) 네트워크. 이 저차(reduced-order) 프레임워크가 높은 물리적 충실도(fidelity)를 유지하며, 전체 스케일 시스템의 에너지 스펙트럼, 공간·시간 상관 함수, 동역학적 특성을 정확히 재현함을 보인다. 또한, 이 접근법이 견고하며 학습 영역 밖의 매개변수에도 적용 가능함을 보인다.

arXiv:2607.13042v1cs.LG

기초부터의 자동 미분: PyTorch가 물리 정보 신경망에서 기울기를 계산하는 방법

Automatic Differentiation from Scratch: How PyTorch Computes Gradients in Physics-Informed Neural Networks

본 논문은 PyTorch의 자동 미분(AD) 엔진이 물리 정보 신경망(PINN) 학습을 위해 기울기를 계산하는 과정을 명시적인 수치 값과 함께 추적한다 — 이 설정은 두 단계의 미분을 필요로 한다: 신경망을 통해 물리 도함수 $\hat{y}'(t)=d\hat{y}/dt$를 계산하는 것, 그리고 $\hat{y}'(t)$에 의존하는 손실의 매개변수 기울기 $\nabla_θL$를 계산하는 것. 1-3-3-1 다층 퍼셉트론과 초기값 문제 $y'(t)+y(t)=0$, $y(0)=1$을 사용하여, 모든 노드에서 전체 파이프라인을 추적한다: 순전파 동안 구성되는 계산 그래프, 단일 패스로 22개의 모든 매개변수 기울기를 계산하는 역방향 역전파, 그리고 \texttt{create\_graph=True}가 물리 정보 잔차를 통한 올바른 미분을 가능하게 하는 그래프 위 그래프 메커니즘. 모든 adjoint 값은 Tahimi (2026)의 수기 유도와 대조하여 검증되며, $P/Q$ 민감도 프레임워크와 PyTorch 자동 미분 엔진이 사용하는 벡터-야코비안 곱을 연결한다.

arXiv:2605.07323v2cs.AI

LLM 기반 정성·정량 평가를 활용한 상미분방정식 발견

Discovering Ordinary Differential Equations with LLM-Based Qualitative and Quantitative Evaluation

관측 데이터로부터 지배 미분방정식을 발견하는 것은 과학적 머신러닝의 근본적인 과제이다. 기존 기호 회귀(symbolic regression) 접근법은 주로 정량적 지표에 의존하지만, 실세계 미분방정식 모델링에서는 물리적 타당성을 보장하기 위해 도메인 지식을 통합하는 것도 필요하다. 이 격차를 해소하기 위해, 우리는 LLM 기반 정성·정량 평가를 통해 상미분방정식을 발견하는 방법인 DoLQ를 제안한다. DoLQ는 다중 에이전트 아키텍처를 사용한다: Sampler 에이전트는 동역학 시스템 후보를 제안하고, 매개변수 옵티마이저는 정확도를 위해 방정식을 정제하며, Scientist 에이전트는 LLM을 활용해 정성적·정량적 평가를 모두 수행하고 그 결과를 종합하여 탐색을 반복적으로 안내한다. 다차원 상미분방정식 벤치마크 실험에서 DoLQ는 기존 방법 대비 우수한 성능을 보였으며, 더 높은 성공률뿐만 아니라 정답(ground truth) 방정식의 올바른 기호 항을 더 정확히 복원한다. 코드는 https://github.com/Bon99yun/DoLQ에서 제공된다.

arXiv:2607.11310v1cs.LG

SPARC-Net: 강성 및 충격파 지배적 편미분방정식을 위한 스펙트럼, 인과성 인식, 하드 제약 물리 정보 아키텍처

SPARC-Net: A Spectral, Causality-Aware, and Hard-Constrained Physics-Informed Architecture for Stiff and Shock-Dominated Partial Differential Equations

물리 정보 신경망(Physics-Informed Neural Networks, PINNs)은 편미분방정식(PDE)을 푸는 무격자 접근법을 제공하지만, 강성 및 충격파 지배적 문제에서 심각한 성능 저하를 겪는다. 이러한 문제에서는 작은 PDE 잔차가 전역적으로 부정확한 해에 대응할 수 있다. 우리는 이러한 실패가 다중 원인에서 비롯됨을 보인다: (i) 급격한 특징에 대한 스펙트럼 바이어스, (ii) 불균형한 다항 최적화와 손실 가중치 붕괴, (iii) 시간적 인과성 위반, (iv) 해상도가 낮은 콜로케이션의 동시적 상호작용이 그 원인이다. 우리는 이 네 가지 병리를 공동으로 해결하는 통합 아키텍처 및 학습 프레임워크인 SPARC-Net을 제안한다. SPARC-Net은 학습 가능한 스펙트럼 게이트를 갖춘 적응형 다중 스케일 스펙트럼 인코더, 게이트 잔차 백본, 적응형 활성화 함수, 그리고 초기 및 경계 조건을 정확히 강제하는 하드 제약 출력 앙자츠(ansatz)를 활용하여 손실 가중치 붕괴를 구조적으로 제거한다. 학습에는 안정화된 그래디언트 노름 손실 균형 조정, 하한이 설정된 인과성 존중 잔차 가중치, 그리고 잔차 기반 적응적 콜로케이션(RAD)이 사용된다. 점성 Burgers', Allen-Cahn, 대류(beta=30), 반응의 네 가지 표준 벤치마크에 걸쳐 정확한 해석 해 및 고차 스펙트럼 참조 해와 비교 검증한 결과, SPARC-Net은 기본 PINNs 대비 상당한 개선을 달성한다: 상대 L2 오차가 Burgers'에서 1.47e-1에서 1.14e-1로(22% 감소), Allen-Cahn에서 9.93e-1에서 5.78e-2로(94% 감소), 반응 방정식에서 9.82e-1에서 3.54e-3으로(100% 감소) 줄어든다. 쌍곡선 수송을 위한 특성 좌표 인코더는 대류 오차를 5.14e-1에서 9.88e-5로 추가 감소시킨다(100% 감소). 우리는 5개 시드의 평균 ± 표준편차 오차, Wilcoxon 유의성 검정, 완전한 절제 연구(ablation studies), 하이퍼파라미터 민감도 분석, 2D 열방정식으로의 확장, 그리고 매개변수 매칭 기준선과의 비교 결과를 보고한다.

arXiv:2607.11110v1cs.LG

Neural Discovery of Memory and Nonlocal Kernels in Integro-Differential Equations with Constrained Kolmogorov--Arnold Networks

Discovering the memory or nonlocal kernel governing an integro-differential equation (IDE) from sparse and noisy observations is an ill-posed inverse problem. Existing identification methods often rely on problem-specific analytical derivations, specialized observation requirements, or restrictive assumptions about the kernel, limiting their applicability across different classes of IDEs. In this work, we propose a differentiable-solver-based framework for discovering memory and nonlocal kernels directly from spatiotemporal observations. Within the solver, the unknown kernel is represented using a constrained Kolmogorov--Arnold Network (KAN) parameterization, with the physical constraints imposed through two different approaches: a Bernstein-polynomial-based Monotone--Convex KAN (MC-KAN), whose coefficient constraints enforce positivity, monotonic decrease, and convexity by construction, and a Chebyshev-based KAN (Cheb-KAN), in which the same properties are encouraged through soft penalty terms. After training, symbolic regression is applied to the learned kernels to obtain interpretable closed-form representations. We evaluate both methods on benchmarks spanning a one-dimensional Volterra equation, a one-dimensional viscoelastic wave partial integro-differential equation, and a two-dimensional nonlocal reaction-diffusion equation with an anisotropic coupled kernel. For the 1D problems, both methods recover the correct kernel functional form and achieve comparable solution-reconstruction accuracy. In contrast, for the sparse and noisy 2D nonlocal problem, the hard-constrained MC-KAN consistently achieves lower kernel reconstruction errors than the soft-constrained Cheb-KAN. Our results demonstrate that enforcing physically motivated shape constraints by construction provides greater robustness than soft penalties for multidimensional kernel discovery from sparse and noisy observations.

arXiv:2607.10546v1cs.LG

LLM-PDESR: 서브도메인 가중 잔차와 LLM 기반 기호 가설 생성을 통한 강건한 PDE 발견

LLM-PDESR: Robust PDE Discovery via Subdomain Weighted Residuals and LLM-Guided Symbolic Hypothesis Generation

잡음이 포함된 관측 데이터로부터 지배 편미분방정식(PDE)을 발견하는 것은 과학적 머신러닝의 근본적인 과제입니다. 전통적인 기호 회귀(SR) 방법은 광범위한 조합 탐색 공간 내에서 정확한 방정식을 식별하는 데 어려움을 겪는 경우가 많으며, 이는 주로 필수적인 도메인별 사전 지식을 통합하지 못하기 때문입니다. 또한, 점별 평가 및 이산 유한 차분에 대한 의존성은 고주파 잡음을 본질적으로 증폭시켜 최적화 과정을 방해하는 기만적인 적합도 지형을 형성합니다. 이러한 병목 현상을 해결하기 위해 우리는 대규모 언어 모델(LLM)의 구조적 가설 생성과 수학적으로 엄밀한 평가 환경을 통합하는 프레임워크인 LLM-PDESR을 제안합니다. 강건한 미분을 위한 C^4-연속 5차 스플라인과 자연 저역 통과 필터로서의 서브도메인 가중 잔차를 활용함으로써, 우리의 접근법은 기존 방법을 괴롭히는 적합도 지형 왜곡을 효과적으로 완화합니다. 파레토 기반 피드백 루프는 LLM이 후보 방정식을 반복적으로 개선하여 예측 정확도와 구조적 간결성 사이의 균형을 맞출 수 있도록 합니다. 우리는 23개의 표준 PDE와 데이터셋 암기를 배제하고 진정한 발견 능력을 검증하기 위해 특별히 설계된 5개의 구조적으로 새로운 방정식(다변량 시스템 포함)을 대상으로 LLM-PDESR을 평가합니다. 실세계 적용 가능성을 입증하기 위해, 이 프레임워크는 잡음이 포함된 ERA5 재분석 데이터로부터 해석 가능한 1D 동역학 대리 모델(1D-CACE)의 일관된 구조적 스켈레톤을 직접 추출하는 데 성공합니다. 광범위한 실험과 분포 외 테스트를 통해 LLM-PDESR이 구조적 복원, 잡음 내성, 그리고 허위 복잡성 및 방정식 비대화 방지 측면에서 최신 방법론을 크게 능가함을 확인합니다.

arXiv:2607.09684v1cs.LG

야생의 SciML: 구조적 사전지식이 도움이 될 때와 해가 될 때에 대한 진단 연구

SciML in the Wild: A Diagnostic Study of When Structural Priors Help and When They Hurt

신경 상미분방정식(Neural Ordinary Differential Equations, NODEs), 물리 정보 신경망(Physics-Informed Neural Networks, PINNs), 보편 미분방정식(Universal Differential Equations, UDEs)과 같은 과학적 기계학습(Scientific Machine Learning, SciML) 방법론은 구조적 사전지식이 신뢰할 수 있는 지배 방정식을 반영할 때 가장 효과적이다. 본 연구는 이 가정이 위반될 경우 어떤 일이 발생하는지를 탐구한다. 거시경제 예측을 스트레스 테스트 도메인으로 활용하여, 희소한 연간 데이터, 다중 시간적 분할, 5개의 랜덤 시드를 사용해 23개국을 대상으로 ARIMA, LSTM, NODE, PINN, UDE 등 5가지 모델 패밀리를 평가하였다. 실험 결과, 평가된 모델 중 어느 것도 일관되게 강력한 예측 성능을 달성하지 못하였으며, 이는 저빈도 거시경제 예측의 어려움을 부각시킨다. 그러나 명확한 상대적 위계가 나타났는데, 덜 제약된 모델, 특히 ARIMA와 NODE가 PINN 및 UDE와 같이 휴리스틱 사전지식으로 더 강하게 제약된 모델을 일관되게 능가하였다. 우리는 이를 SciML의 기각으로 해석하지 않고, 구조적 사전지식이 데이터 생성 과정과 일치하지 않을 때 잘못된 정규화기(misregularizer)로 작용할 수 있다는 진단적 결과로 해석한다. 사전지식 불일치(prior misalignment), 체제 전환(regime shifts), 구조적 단절(structural breaks), 최적화 불안정성을 포함한 실패 양상을 식별하고, SciML 실무자들이 더 많은 구조가 유익하다고 가정하기에 앞서 구조가 실제로 도움이 되는지를 검증해야 한다고 주장한다.

arXiv:2607.02134v2cs.AI

Coding-agents can replicate scientific machine learning papers

코딩 에이전트(coding agent)가 논문 자료만으로 과학적 머신러닝 논문의 계산적 주장을 재현할 수 있도록, 각 주장을 증거와 연결된 타겟으로 관리하는 Paper-replication 워크플로우를 제안한다. 퍼시스턴트 작업 공간과 검증 체크를 통해 에이전트의 최종 메시지가 아닌 워크스페이스 상태로 완료 여부를 판단하며, 4편의 논문에 대한 12회 독립 실행에서 158개의 모든 타겟이 보고서 커버리지와 매칭되었다.

arXiv:2607.06348v1cs.LG

Physics-Informed Neural Embeddings of PDE Solution Families

멀티헤드 Physics-Informed Neural Network(PINN)을 이용해 편미분방정식(PDE) 해 패밀리의 유한 차원 잠재 다양체(latent manifold)를 학습하는 프레임워크를 제안하며, 헤드 직교화 페널티로 잠재 표현의 퇴화를 제거한다. 1차원 점성 버거스 방정식에 적용한 결과, 잠재 차원 20 중 단 2~4개의 주성분이 분산의 약 95%를 포착하는 효과적인 차원 축소가 나타났으며, 푸리에 셸(Fourier shells) 기반 스펙트럴 분해를 통해 독립적인 학습 실행 간 재현 가능한 해 다양체 기하 구조 관측량을 확립한다.

arXiv:2506.15199v4cs.LG

공간 물리 학습을 위한 해석 가능성 및 일반화 한계

Interpretability and Generalization Bounds for Learning Spatial Physics

수치 해석 기법을 활용해 선형 미분 방정식에 적용된 ML 모델들의 정확도, 수렴 속도, 일반화 한계를 엄밀히 분석하고, 훈련 데이터의 함수 공간(function space)이 분포 외(OOD) 일반화에 결정적임을 이론 및 실험으로 규명한다. DeepONet, Fourier Neural Operator, PINNs 등 주요 물리 특화 모델들도 동일한 일반화 실패를 보임을 확인하고, 블랙박스 모델 가중치에서 Green's function 표현을 추출하는 새로운 기계적 해석 가능성(mechanistic interpretability) 기법과 물리 시스템 일반화 측정을 위한 교차 검증(cross-validation) 벤치마크를 제안한다.

arXiv:2607.02203v1cs.LG

Self-explainable Operator Learning for Discovering Spatial Patterns in Functional Data

복잡한 물리 시스템 모델링에 활용되는 연산자 학습(operator learning)의 불투명성 문제를 해결하기 위해, 적분 방정식 기반의 일반화 함수형 선형 모델(gFLM)의 선형 결합으로 연산자 학습을 재구성하는 자기 설명 가능(self-explainable) 프레임워크를 제안한다. 입력 도메인을 서브도메인으로 분할하여 각 영역의 기여도를 직접 계산함으로써, 혈류 및 비정상 공기역학 문제에서 강한 특징 기울기를 갖는 공간 영역이 예측에 핵심적임을 물리적으로 해석 가능한 방식으로 밝혔으며, Kernel SHAP, Occlusion Sensitivity, Grad-CAM 등 사후 설명 기법(post-hoc explainability)과 유사한 결과를 보이면서도 외부 도구 없이 연산자 구조 자체에 설명 가능성을 내재화했다.

arXiv:2606.30699v1cs.LG

Joint discovery of governing partial differential equations from multi-source datasets by competitive optimization

Discovering governing equations directly from observational data is a key step towards interpretable scientific machine learning. Current data-driven approaches typically operate on a single dataset, inherently limiting their performance when faced with restricted observations. In practice, multiple datasets are often available for the same physical system, distinguished only by distinct initial conditions or boundary configurations. Here, we present a competitive optimization framework designed to discover shared partial differential equations (PDEs) from multi-source datasets, termed MCO-PDE. The framework first trains independent neural surrogates for each data source, and then employs a soft-competitive weighting mechanism to dynamically assess dataset credibility and aggregate a consensus global coefficient. Integrated with a genetic algorithm for structural search, this approach simultaneously identifies the functional forms and parameters of the governing laws. We demonstrate that fusing as few as 50 observations per dataset across seven cases recovers canonical equations with high accuracy. The framework inherently handles two- and three-dimensional domains characterized by irregular boundaries and heterogeneous coefficients, and successfully extracts physically meaningful laws from real-world wave-tank experiments. Overall, this work establishes a promising route for automated scientific discovery via heterogeneous data fusion.

arXiv:2606.28519v1cs.LG

부분 학습 가능 연산자 학습 프레임워크: 대규모 응용을 위한 DeepONet과 Karhunen-Loeve 전개의 연결

A Trainable-by-Parts Operator Learning Framework: Bridging DeepONet and Karhunen-Loeve Expansions for Large-Scale Applications

편미분방정식(PDE)으로 지배되는 대규모 문제에 대한 연산자 학습 모델의 학습은 차원의 저주, 메모리 제약, 그리고 제한된 학습 데이터로 인해 어렵다. 이러한 문제는 지하 흐름, 기후 모델링, 지질 탄소 저장(GCS)을 포함한 다양한 과학 및 공학 응용 분야에서 발생한다. 본 연구에서는 Karhunen-Loeve 심층 신경망(KL-DNN)을 기반으로 한 확장 가능한 연산자 학습 프레임워크를 제안하고, GCS 모델링에 대한 성능을 입증한다. 모델은 170만 셀과 50개 시간 단계를 포함하는 3차원 도메인에서의 대규모 시뮬레이션 100개 샘플로 구성된 데이터셋으로 학습된다. KL-DNN 방법은 정적 속성의 저순위 특이값 분해와 동적 압력장에 대한 중첩 Karhunen-Loeve 전개를 사용하여 잠재 공간을 구성하며, 서브샘플링이나 공간 조잡화 없이 전체 해상도 예측을 가능하게 한다. KL-DNN 모델은 압력에 대해 평균 1.1 psi의 평균 제곱근 오차(RMSE)(도메인 내 평균 압력 대비 0.04% 상대 오차)와 CO2 포화도에 대해 RMSE 0.0146(플룸 내부 평균 포화도 대비 5% 상대 오차)을 달성한다. 모델은 단일 GPU에서 20분의 학습 시간을 필요로 하며, 동일한 데이터셋으로 학습된 DeepONet 대비 압력 오차 19% 감소, 포화도 오차 7% 감소, 2차 규모의 속도 향상을 나타낸다. 이러한 결과는 1분 미만의 추론 시간과 함께, 제안된 모델이 대규모 PDE 문제에 대한 실용적이고 정확한 솔루션으로서 신속한 불확실성 정량화, 히스토리 매칭, 실시간 의사결정 지원을 가능하게 함을 보여준다.

arXiv:2606.25151v1cs.LG

Silent Failures in Physics-Informed Neural Networks: Parameter Poisoning and the Limits of Loss-Based Validation

물리 정보 신경망(PINN)에서 PDE 파라미터를 학습 전에 왜곡하면 손실은 정상 수준인데 해는 크게 틀리는 침묵 실패(silent failure)가 Burgers·Navier-Stokes cavity·대류-확산 등 세 PDE에서 나타나며, 낮은 잔차 손실만으로는 물리적 정확성을 보장할 수 없다. 6가지 후보 방어는 모든 조건에서 신뢰할 만한 탐지에 실패했고, 재학습 없이 PDE 잔차 손실을 파라미터 값에 따라 스윕(sweep)해 손실 최소점에서 진짜 학습 파라미터를 외부 데이터 없이 복구하는 사후(post-hoc) 방어를 제안한다.