PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10972v1cs.LG

신경망 PDE 솔버에서 학습된 상태의 전이 가능성

Transferability of Learned States in Neural PDE Solvers

신경망 PDE 솔버에서 유용한 재사용(reuse)을 평가하는 것은 어렵다. 최종 정확도는 소스(source) 학습과 타겟 시점(target-time) 계산을 모두 반영할 수 있기 때문이다. 우리의 재사용 계약(reuse contract)은 짝을 이룬 상태 비교(paired state comparison), 일치된 타겟 정보 및 예산(budget), 비용 계산(cost accounting)을 통해 해(solution) 정확도, 학습 기여도(learning contribution), 수치적 유용성(numerical utility)을 분리한다. 문헌 검토(literature audit)를 통해 12편의 논문에서 18개의 버전별 프로토콜 기록(version-specific protocol record)을 추출하여, 유지된 상태(retained state), 타겟 시점 자원(target-time resource), 보고된 통제(reported control)를 기록하였다. 고정된 선형 시스템(linear system)과 잔차 허용 오차(residual tolerance)에 대해, 해 오차(solution-error), 에너지 오차(energy-error), 잔차 노름(residual norm)이 동일하지만 서로 다른 켤레 그래디언트(conjugate-gradient, CG) 반복 횟수로 동일한 해에 도달하는 두 개의 초기 추정값(initial guess)을 구성하였다. 240개의 소스 학습 궤적(trajectory), 두 가지 선형 PDE 계열(family), 푸리에 신경 연산자(Fourier neural operator)와 합성곱 신경망(convolutional network)에 걸쳐, 고정된 예측기(predictor)의 이득은 보정 알고리즘(correction algorithm)에 따라 뒤바뀐다. 64개의 분포 내(in-distribution) 과제(63×63 내부 격자)에서 상대 예측 오차가 모두 5% 이하인 쌍들 중에서, 세 노름 모두의 감소는 더 많은 CG 반복을 동반하며, 두 라이브러리에서 과제별 평균 비율은 각각 23.5%와 23.9%였다. 작업량 기반 선택(work-based selection)은 보류된(held-out) 분포 내 과제에서 2.50~3.33회의 CG 반복을 절약하며, 일치된 적응(matched adaptation)은 유한 예산(finite-budget) 사전학습(pretraining)의 가치를 보여준다. 독립적인 배치(batch)들은 물리 기반으로 학습된(physics-trained) 하나의 푸리에 신경 연산자가 0으로 초기화된 포아송(Poisson) 전처리 CG에 대해 0.73%의 완전한 온라인 절감(online saving)을 달성함을 확인하였다. 재사용은 일치된 상태 비교와 다운스트림(downstream) 계산적 증거(computational evidence)를 필요로 한다.

arXiv:2610.03363v1cs.AI

기하학과 물리학의 결합: 비정형 신경망 편미분방정식 솔버를 위한 데이터 효율적 사전학습

Geometry Meets Physics: Data-Efficient Pre-Training for Unstructured Neural PDE Solvers

비정형 3D 기하 구조에서의 편미분방정식(PDE)을 위한 신경망 대리 모델(Neural surrogate models)은 흔히 미흡한 일반화 성능과 대규모 학습(training) 데이터셋 생성의 높은 비용으로 인해 한계를 겪습니다. 이에 따라, 관련 PDE 역학의 대규모 데이터셋을 활용한 사전학습(pre-training)이 이러한 모델의 강건성과 확장성을 향상하기 위한 중요한 대안으로 떠올랐습니다. 그러나 이 전략은 생성 비용이 매우 높은 대규모 사전 계산 데이터에 의존하므로 연산 효율적이지도 데이터 효율적이지도 않습니다. 본 연구에서는 정상 상태(steady-state)와 과도(transient) 상태 영역 모두에 맞춘 디스크 데이터가 필요 없는(disk-data-free) 사전학습 프레임워크를 소개합니다. 정상 상태 문제의 경우, 복잡한 3D 도메인의 표현을 학습하기 위해 내재적 형상 기술자(intrinsic shape descriptors)를 활용하는 기하학 중심 전략을 제안합니다. 과도 상태 문제에 대해서는 합성 PDE 데이터의 온라인 생성을 기반으로 하는 물리학 중심 접근법을 도입하여, 고비용 데이터셋에 의존하지 않고도 확장 가능한 사전학습을 가능하게 합니다. 다수의 실험 전반에서 본 접근법은 특히 현실적인 저데이터 환경의 미세조정(fine-tuning) 과정에서 더 빠른 수렴(convergence), 더 높은 데이터 효율성, 그리고 향상된 정확도를 달성합니다. 이 방법론은 대규모 시뮬레이션을 위한 데이터 효율적인 신경망 에뮬레이터를 향한 실용적인 경로를 제공합니다.