PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27895v2physics.comp-ph

Mosaic: 미분 가능 물리 솔버를 위한 벤치마크 스위트

Mosaic: A Benchmark Suite for Differentiable Physics Solvers

Differentiable partial differential equation (PDE) solvers underpin solver-in-the-loop MLtraining, gradient-based optimal control, and inverse problems, yet the practical cost of obtaining correct, usable gradients from a given solver on a given problem is largely undocumented. Integration effort, computational cost, memory, gradient accuracy, and numerical stability vary widely across solvers and are discoverable only by trial and error. We introduce Mosaic, an extensible benchmarking framework for differentiable PDE solvers that standardizes access to solver gradients. Each solver is packaged as a containerized component (Tesseract) exposing a uniform gradient API regardless of language or automatic differentiation (AD) strategy, enabling researchers to evaluate, compare, and build on non-trivial physical solvers. Our evaluation of 14 solvers across fluid dynamics, structural mechanics, and heat transfer demonstrates that the benchmark surfaces practically relevant differences: order-of-magnitude variation in computational cost and memory, alongside setup incompatibilities and instabilities that rule out solvers for specific tasks. Despite this variation, all solvers that produce gradients converge to similar optima on our tasks, indicating that the practical barriers are memory limits, numerical stability, and setup compatibility rather than gradient accuracy alone. Mosaic is open-source and available at github.com/pasteurlabs/mosaic.

arXiv:2610.02217v2cs.CE

RINS: 대규모 희소 선형 시스템을 위한 잔차-상 신경 부분공간 솔버

RINS: Residual-Image Neural Subspace Solvers for Large Sparse Linear Systems

Neural subspace solvers offer a promising way to accelerate the large sparse linear systems arising from PDE discretizations, but their value depends on generating effective correction directions at low computational overheads. We study this problem from a residual-image viewpoint: a correction subspace is useful when its image under the system operator captures the current residual. Guided by this view, we propose Gate-RINS, which generates multiple correction directions from shared polynomial residual probes and modulates them with a lightweight residual- and coordinate-dependent pointwise gate. We also introduce a hybrid schedule that uses GRANS-style graph controllers for the first correction block and Gate-RINS thereafter, combining an expressive graph based initial step with a lower-cost corrector as the solve progress. Theoretical analysis establishes a unified residual-image and dynamic approximate-inverse perspective for Gate-RINS and G-RANS, showing that a single neural-generated direction can emulate the residual quality of fixed-step GMRES. Numerical experiments on six PDE benchmarks demonstrate that Gate-RINS reaches a relative residual of $10^{-5}$ with 1.6-2.3$\times$ and 2.2-3.0$\times$ less wall-clock time than G-RANS and GMRES respectively. For Helmholtz systems with meshsize up to $10^5$, Gate-RINS also achieves the lowest residual and outperforms a GPU-accelerated parallel GMRES, while GRANS fails to reach relative residual of $10^{-4}$ in the same time budget.

arXiv:2510.18989v4cs.LG

신경 연산자의 솔버 통합 적대적 공격 및 학습

Solver-Integrated Adversarial Attacking and Training of Neural Operators

신경 연산자(Neural Operator)의 일반화 능력과 강건성을 솔버 통합 관점에서 재정의하고, 수치 PDE 솔버를 공격 루프 내부에 통합한 적대적 공격(adversarial attack) 및 학습 프레임워크를 제안한다. Burgers, Darcy Flow, Navier–Stokes 등 대표 PDE 벤치마크 실험에서 솔버를 깊이 통합할수록 일반화 능력과 강건성이 더욱 향상됨을 보인다.

arXiv:2610.13804v1stat.ML

제약 조건 하의 확률론적 수치해석: 선형 부등식 제약 조건 하의 선형 편미분방정식을 위한 가우시안 프로세스 솔버

Constrained Probabilistic Numerics: Gaussian Process Solvers for Linear PDEs under Linear Inequality Constraints

선형 편미분방정식(PDE)을 위한 가우시안 프로세스(Gaussian process) 솔버는 점 추정치 대신 사후확률을 반환하지만, PDE 잔차, 경계 데이터, 측정값과 같은 등식 정보에 대해서만 조건부화(conditioning)를 수행합니다. 그러나 관심을 두는 많은 해는 비음수성(nonnegativity), 단조성(monotonicity), 무차익(absence of arbitrage)을 포함한 부등식 제약을 따르며, 등식 조건부화만으로는 이를 강제할 수 없습니다. 본 연구에서는 가우시안 프로세스 사전확률을 선형 등식 관측값과 유한차원 부등식 사건에 결합하여 조건부화하는 것이, 해 공간 상의 보렐 측도(Borel measure) 관점에서 순차적으로 조건부화하는 것과 동등함을 증명합니다. 따라서 물리 정보가 반영된(physics-informed) 사후확률은 가상 지점에서의 부등식 업데이트를 위한 유효한 사전확률이 됩니다. 결합 법칙은 비가우시안(non-Gaussian)이지만 절단 정규분포(truncated-Gaussian) 모멘트를 통해 계산 가능하며, PDE 조건부화와 부등식 업데이트 모두 수정할 필요가 없습니다. 본 연구진은 포아송(Poisson) 벤치마크, 옵션 가격 표면, 대기질 필드에서 이 구성을 평가했습니다. 불완전한 경계 데이터 조건에서, 단조성 제약 조건은 2차원 포아송 재구성의 오차를 $63\%$ 낮췄습니다. 20개의 호가만 남기도록 축소한 실제 S&P 500 옵션 체인에서, 무차익 제약 조건은 홀드아웃 외삽 오차를 $22\%$ 줄였고 캘린더 차익 비율을 $10\%$에서 $1\%$로 낮췄습니다. 네 가지 실제 대기질 스냅샷에서는, 관측소 수가 가장 희소할 때 비음수성 제약이 가우시안 모멘트 기반 음수 꼬리 프록시(sub-zero-tail proxy)를 $74\%$ 감소시켰습니다. 평균 정확도 및 제약 진단 수치의 변화는 데이터 체제에 따라 다르게 나타났습니다. 등식 사후확률 하에서 노이즈가 포함된 가상 제약 사건의 확률은 업데이트 전 지정된 경계와의 일치도를 측정합니다. 이러한 구성은 허용 가능성(admissibility)을 사후 처리 단계에서 확률론적 PDE 솔버를 위한 조건부 정보로 전환합니다.

arXiv:2607.18020v3cs.LG

FlashPDE: 신경망 PDE 솔버를 위한 드롭인 융합 Triton 연산자 라이브러리

FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers

물리 정보 신경망(PINNs)은 신경망 학습에 물리적 제약을 통합하여 PDE를 풀지만, 대규모 문제는 자동 미분 메모리 오버헤드와 그리드 기반 PDE 연산자의 비효율적 실행에 의해 제한된다. 본 논문은 그리드 기반 과학적 머신러닝을 위한 드롭인 융합 연산자 라이브러리인 FlashPDE를 제안한다. FlashPDE는 분절된 PyTorch 유한차분 실행을 미분 가능한 Triton 커널로 대체한다. 각 연산자는 융합 스텐실 평가, 해석적 이산-수반 역전파, 경계 그래디언트 보정을 통합 PyTorch 자동 미분 Function 인터페이스 내에서 통합한다. 이 라이브러리는 1D--3D 타원, 포물선, Navier--Stokes 계에 걸친 17가지 구성을 포괄하는 14개의 미분 가능 PDE 연산자를 제공하며, 신경망 아키텍처 및 학습 전략과 독립적이다. NVIDIA A100 GPU에서의 실험 결과, FlashPDE는 좌표 기반 자동 미분 대비 피크 메모리 사용량을 최대 37.0배 줄이고, eager PyTorch 유한차분 구현 대비 CUDA 커널 실행 횟수를 최대 3.5배 줄인다. 6개의 대표 PDE 벤치마크에서 FlashPDE는 PyTorch 유한차분 기준과 수치적 일치를 유지하면서 end-to-end time-to-solution 기준 최대 2.30배 속도 향상과 커널 수준 최대 19.2배 가속을 달성한다. FlashPDE는 PyTorch 생태계 내에서 미분 가능 PDE 솔버와 GPU 최적화 수치 계산을 연결하는 하드웨어 효율적 실행 층을 제공한다.

arXiv:2601.20174v3cs.LG

NeuraLSP: PDE 솔버 가속을 위한 신경 스펙트럴 전처리기

NeuraLSP: A Neural Spectral Preconditioner for Accelerating PDE Solvers

편미분방정식(PDE)에서 유래한 대규모 희소 선형 시스템을 푸는 것은 고성능 과학 컴퓨팅의 기본 주제이며, 전처리기(preconditioner)가 핵심적이다. 멀티그리드(multigrid) 방법은 가장 효과적인 전처리기 중 하나이지만, 성능은 격자 전달 연산자(grid transfer operator)의 정확한 구성에 의해 좌우된다. 현재의 신경 멀티그리드 방법은 그래프 신경망(GNN)으로 이러한 연산자를 학습하며, 일반적으로 이산화된 시스템 행렬에서 연결성(connectivity)을 추출한다. 효과적이긴 하지만, 이러한 그래프 기반 구성은 rank inflation(랭크 팽창) 문제가 있어 불필요하게 큰 coarse space와 더 느린 수렴을 초래한다. 이를 개선하기 위해 본 논문은 NeuraLSP를 제안한다. NeuraLSP는 그래프 집계(aggregation)를 근-nullspace 성분의 좌특이 부분공간(left singular subspace)에서 유도된 고정된 저랭크(low-rank) 스펙트럴 표현으로 대체하는 새로운 신경 멀티그리드 전처리기이다. 네트워크 설계 수준에서 NeuraLSP는 새로운 부분공간 손실(subspace loss) 함수로 학습되며, 이는 랭크 팽창을 억제하면서 멀티그리드 수렴과 가장 관련 있는 오류 모드(error mode)를 보존한다. 본 논문의 핵심 혁신은 이론적 보장과 랭크 팽창에 대한 경험적 견고성(robustness) 모두에 기반하며, 다양한 PDE 계열에서 SOTA(state-of-the-art) 신경 전처리기 대비 최대 53%의 속도 향상을 제공한다.

arXiv:2607.10200v1cs.LG

미분 신경 접선 커널과 그 양정성

The Differential Neural Tangent Kernel and Its Positivity

신경 접선 커널(NTK)은 과매개변수화 체계에서 신경망의 학습 동역학을 분석하는 강력한 도구 중 하나이다. 최근 이 이론적 프레임워크는 선형 편미분방정식(PDE)을 풀기 위한 물리 정보 신경망(PINNs)—매우 인기 있는 신경망 기반 PDE 솔버의 한 종류—으로 확장되었다. 이 분석에서 연관된 NTK의 양정성(positivity)은 핵심적인 역할을 한다. 그러나 PINNs에 대한 NTK의 양정성을 확립하는 것은 여러 미분 연산자의 존재로 인해 매우 어렵다. 본 연구에서는 NTK의 관점에서 PINNs를 분석하기 위한 새로운 이론적 프레임워크인 미분 신경 접선 커널(DNTK, Differential Neural Tangent Kernel)을 제안하고, RePU 및 매끄럽지만 비다항식인 활성화 함수를 포함한 광범위한 활성화 함수 클래스에 대해, 그리고 모든 선형 미분 연산자에 대해, 얕은 신경망과 깊은 신경망 모두에서 무한 너비 DNTK의 양정성을 확립한다. 이 이론적 결과들은 PINNs 학습을 위한 그래디언트 기반 알고리즘 분석의 토대를 마련한다.

arXiv:2606.18175v1math.NA

물리 정보 신경망으로 비선형 PDE를 푸는 볼록 준선형화 방법

A Convex Quasilinearization Method for Solving Nonlinear PDEs with Physics-Informed Neural Networks

비선형 편미분방정식(PDE)의 정 문제 해법을 위한 수치 방법을 제시한다. Bellman-Kalaba 준선형화가 비선형 문제를 선형 부문제의 연쇄로 축소하며, 각 부문제는 매개변수에 대해 선형인 시험 공간에 구적법(collocation)으로 이산화되고 단일 직접 선형 최소제곱 QR 분해로 풀린다. 시험 공간은 우리가 Linear-in-Learnables(LiL)라 부르는 것으로, 랜덤 특징 극한학습기, 스펙트럴 다항식 기저, 삼각함수 전개 등 학습 가능 매개변수가 선형으로 들어가는 표현들로 구성되며, 각각 물리 정보 신경망으로 구현된다. 이 방법은 표준 PINN을 제한하는 비볼록 그래디언트 기반 학습을 단계별 볼록 해법으로 대체한다. 명시적 소량 조건 하에서 외부 반복의 국소 Newton-Kantorovich 수렴을 잔차 제한 근방으로 확립하며, 극한 정확도는 최적화 허용오차가 아니라 시험 공간의 최적 근사 잔차에 의해 좌우된다. LiL-Q라는 이 방법은 스칼라 비선형 PDE(Bratu, 점성 Burgers, Buckley-Leverett), 결합 시스템(평면 변형률 탄성 및 2차원·3차원 비압축 Navier-Stokes 방정식), 이질적 투과도를 갖는 정상 상태 Darcy 유동을 포괄하는 7개 벤치마크에서 평가된다. 이들 문제 전반에서 LiL-Q는 대부분의 경우 가장 거친 기저 크기에서도, 매개변수 개수와 무관하게 외부 반복이 한 자릿수 이내에 수렴한다. 정확해가 시험 공간의 생성(span)에 있을 때, 이 방법은 단일 해법으로 기계 정밀도까지 복원한다. Navier-Stokes 벤치마크에서는 그래디언트 기반 최적화 없이 학습 가능 매개변수를 최대 두 자릿수 적게 사용하면서 공개된 PINN 솔버와 동등하거나 그 이상의 성능을 보인다.