PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.18020v3cs.LG

FlashPDE: 신경망 PDE 솔버를 위한 드롭인 융합 Triton 연산자 라이브러리

FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers

물리 정보 신경망(PINNs)은 신경망 학습에 물리적 제약을 통합하여 PDE를 풀지만, 대규모 문제는 자동 미분 메모리 오버헤드와 그리드 기반 PDE 연산자의 비효율적 실행에 의해 제한된다. 본 논문은 그리드 기반 과학적 머신러닝을 위한 드롭인 융합 연산자 라이브러리인 FlashPDE를 제안한다. FlashPDE는 분절된 PyTorch 유한차분 실행을 미분 가능한 Triton 커널로 대체한다. 각 연산자는 융합 스텐실 평가, 해석적 이산-수반 역전파, 경계 그래디언트 보정을 통합 PyTorch 자동 미분 Function 인터페이스 내에서 통합한다. 이 라이브러리는 1D--3D 타원, 포물선, Navier--Stokes 계에 걸친 17가지 구성을 포괄하는 14개의 미분 가능 PDE 연산자를 제공하며, 신경망 아키텍처 및 학습 전략과 독립적이다. NVIDIA A100 GPU에서의 실험 결과, FlashPDE는 좌표 기반 자동 미분 대비 피크 메모리 사용량을 최대 37.0배 줄이고, eager PyTorch 유한차분 구현 대비 CUDA 커널 실행 횟수를 최대 3.5배 줄인다. 6개의 대표 PDE 벤치마크에서 FlashPDE는 PyTorch 유한차분 기준과 수치적 일치를 유지하면서 end-to-end time-to-solution 기준 최대 2.30배 속도 향상과 커널 수준 최대 19.2배 가속을 달성한다. FlashPDE는 PyTorch 생태계 내에서 미분 가능 PDE 솔버와 GPU 최적화 수치 계산을 연결하는 하드웨어 효율적 실행 층을 제공한다.

arXiv:2601.00473v4cs.LG

이산 동역학계로서의 심층 신경망: 물리 정보 기반 학습에 대한 함의

Deep Neural Networks as Discrete Dynamical Systems: Implications for Physics-Informed Learning

피드포워드 심층 신경망(DNN)을 이산 동역학계(discrete dynamical system)로 해석하는 프레임워크를 통해, 물리 정보 신경망(PINN)이 Burgers 방정식과 Eikonal 방정식을 풀 때 유한 차분법과는 다른 계산 경로를 취하며 역 매핑의 퇴화성(degeneracy)으로 인해 복수의 매개변수 구성이 동등한 해를 산출함을 보인다. PINN의 밀집 매개변수 표현은 해석 가능성과 계산 비용 면에서 불리하지만, 고전적 격자 기반 방법이 비실용적인 고차원 설정에서는 유연성 측면의 이점을 제공할 수 있다.

arXiv:2606.11258v1cs.LG

그래디언트 기반 Gray-Scott 시스템 역문제에 대한 손실 지형 진단: PINN 구성 요소의 역할 분리

Loss Landscape Diagnosis for Gradient-Based Gray-Scott System Inversion: Disentangling the Roles of PINN Components

반응-확산 시스템의 그래디언트 기반 역문제는 일반적으로 대리 모델이나 물리 정보 신경망(PINNs)을 통해 접근하지만, 가장 직접적인 경로인 편미분 방정식(PDE) 구조 자체를 통한 역전파는 대부분 회피되어 왔습니다. 우리는 이 직접적인 경로를 진단용 프로브로 활용하여, 대리 모델이나 신경망 증강 없이 펼쳐진(unrolled) Gray-Scott 시뮬레이션을 통해 정상 상태 손실을 역전파함으로써 매개변수를 복원하고자 합니다. 최적화는 수렴에 실패하며, 지형을 직접 시각화하면 그 실패 원인이 기하학적 구조에 위치함을 알 수 있습니다. 즉, 그래디언트 신호가 없는 평탄한 고원과 분기 경계와 일치하는 날카로운 절벽으로 둘러싸인 구조이며, 이는 손실 함수 전반에 걸쳐 반복되고 그래디언트가 매개변수로 전달되는 방식과 상관없이 나타납니다. 이 최소 설정을 PINN에 대한 소거 연구(ablation)로 해석하여 각 구성 요소의 역할을 분리해 보았습니다. 신경망을 고정하면 잔차 손실은 PDE 매개변수에 대해 이차 함수가 되며 매끄러운 지형을 생성하므로, 모든 초기 조건에 걸쳐 전체 PDE 역학을 암묵적으로 인코딩함으로써 단독으로도 이미 병리적 현상을 피합니다. 반면 신경망은 잘 정의되지 않은 매개변수 부분 공간을 수정할 수 없으므로 관측된 데이터를 보완하는 역할만 수행합니다. 이는 기존에 명시적으로 밝혀지지 않았던 분업입니다. 이러한 발견은 PINN 유형 방법론에 대한 구체적인 설계 시사점과 추가된 차원이 실제로 언제 도움이 되는지에 대한 더 넓은 휴리스틱을 제공합니다.