PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28065v2cs.LG

OperatorSHAP: 신경 연산자를 위한 빠르고 정확한 Shapley 값 추정

OperatorSHAP: Fast and Accurate Shapley Value Estimation for Neural Operators

Understanding model predictions is essential for physical applications, where outputs often inform safety-critical decisions, such as structural load assessment, weather warnings, and clinical diagnosis. Shapley values satisfy many desirable properties as an attribution method, but their computational cost during inference hinders their practical use. Current amortized explainers, such as FastSHAP, are limited to homogeneous inputs, which is problematic for physical applications where data often comes from irregular grids and geometries. We introduce OperatorSHAP, a grid-agnostic attribution method that allows us to train FastSHAP-like explainers for neural operators. We establish a theoretical framework for attributions in function space, connecting to Aumann-Shapley values. We further show that OperatorSHAP's explanations are consistent with state-of-the-art discrete Shapley values across resolutions and transfer across grid sizes without retraining.

arXiv:2510.18989v4cs.LG

신경 연산자의 솔버 통합 적대적 공격 및 학습

Solver-Integrated Adversarial Attacking and Training of Neural Operators

신경 연산자(Neural Operator)의 일반화 능력과 강건성을 솔버 통합 관점에서 재정의하고, 수치 PDE 솔버를 공격 루프 내부에 통합한 적대적 공격(adversarial attack) 및 학습 프레임워크를 제안한다. Burgers, Darcy Flow, Navier–Stokes 등 대표 PDE 벤치마크 실험에서 솔버를 깊이 통합할수록 일반화 능력과 강건성이 더욱 향상됨을 보인다.

arXiv:2605.05780v2cs.AI

폰 노이만 네트워크

Von Neumann Networks

20세기 중반, 수학자이자 박식가인 존 폰 노이만(John von Neumann)은 인간 뇌의 단순한 모델로서 셀 배열 기반의 계산 시스템을 고안했습니다. 이 시스템에서 각 셀은 유한한 역할 또는 상태 집합 중 하나를 가지며, 그는 이를 확산 과정(diffusion process)으로 모델링할 수 있을 것으로 예측했습니다. 본 연구에서는 이러한 시스템을 현대의 심층 학습(deep learning) 환경에서 발전시킬 경우, 학습 가능한 특화된 역할을 가진 인공 뉴런의 구축이 가능함을 보여줍니다. 저자들은 이 뉴런을 폰 노이만 뉴런(Von Neumann neuron)이라 부르며, 이러한 뉴런들로 구성된 신경망(neural network)은 해당 셀 배열상에서 입력 및 출력의 구조와 위치에만 아키텍처가 의존하는 자가 설계형(self-engineered) 구조를 이룹니다. 또한 이러한 폰 노이만 네트워크(Von Neumann Networks, VNN)의 수학적 프레임워크를 정립하여, 이들이 신경 연산자(neural operator)의 확장과 확산 특성을 지닌 셀 토폴로지상에서의 합성곱(convolution)을 통한 그린 함수(Green's function) 학습에 기반하고 있음을 밝힙니다. 아울러 이러한 VNN이 계산적으로 보편적인(computationally universal) 더 일반적인 계산 체계인 셀룰러 머신(Cellular Machines)의 일부임을 증명합니다. 초기 실험 결과에 따르면 VNN 기반 다층 퍼셉트론(MLP)은 기본 작업에서 기존의 심층 학습 대응 모델보다 우수한 성능을 보이면서도 더 매개변수(parameter) 효율적이며, 새로운 유형의 작업을 학습할 수 있음을 보여줍니다. 여기에는 모든 현대 컴퓨터에 공통적인 폰 노이만 (하드웨어) 아키텍처를 셀로 확장하여 해결 및 구축하는 능력이 포함되며, 이는 탐색 가능한 새로운 기회를 시사합니다.

arXiv:2509.26371v3math.FA

신경망과 연산자를 위한 벡터값 재생 커널 Banach 공간

Vector-Valued Reproducing Kernel Banach Spaces for Neural Networks and Operators

최근 신경망의 기저 함수 공간을 특성화하는 데 대한 관심이 커지고 있다. 얕은(shallow) 및 깊은(deep) 스칼라값 신경망은 스칼라값 재생 커널 Banach 공간(RKBS)과 연결되어 왔지만, $\mathbb{R}^d$값 신경망과 신경 연산자(neural operator) 모델은 RKBS 설정에서 덜 이해되고 있다. 이 공백을 메우기 위해, 본질적으로 관련 재생 커널을 포함하는 벡터값 RKBS(vv-RKBS)의 수반 쌍(adjoint pair) 개념을 개발하고, 모든 vv-RKBS가 그러한 쌍에 속함을 증명한다. 우리의 구성은 대칭 커널 정의역, 유한차원 출력 공간, 반사성(reflexivity), 또는 분리성(separability)과 같은 제한적 가정을 피함으로써 기존 커널 정의를 확장하면서, 벡터값 재생 커널 Hilbert 공간(vv-RKHS)의 친숙한 성질을 여전히 회복한다. 그런 다음 얕은 $\mathbb{R}^d$값 신경망이 특정 vv-RKBS, 즉 적분 vv-RKBS(integral vv-RKBS)의 한 사례의 원소임을 보인다. 신경 연산자의 함수적 구조도 탐구하기 위해 DeepONet과 Hypernetwork 아키텍처를 분석하고, 이들 역시 적분 vv-RKBS에 속함을 보인다. 모든 경우에, 이러한 함수 공간에 대한 최적화가 해당 신경 아키텍처를 회복함을 보이는 표현 정리(representer theorem)를 확립한다.

arXiv:2503.18219v2cs.LG

신경망과 신경 연산자의 이론-실무 간극

Theory-to-Practice Gap for Neural Networks and Neural Operators

본 연구는 렐루(ReLU) 신경망과 신경 연산자를 이용한 학습의 샘플링 복잡도를 다룬다. 관련 근사 공간에 속하는 매핑에 대해, 샘플 수에 대한 임의의 학습 알고리즘이 달성할 수 있는 최적 수렴 속도의 상한을 유도한다. 유한차원 경우, 이러한 상한은 학습의 파라미터 복잡도와 샘플링 복잡도 사이의 간극, 즉 이론-실무 간극(theory-to-practice gap)을 함의한다. 본 연구에서는 일반적인 $L^p$ 설정에서 이론-실무 간극에 대한 통합적 처리를 달성하는 동시에, 기존 문헌의 상한을 개선한다. 또한 이러한 결과를 바탕으로 이론-실무 간극을 연산자 학습의 무한차원 설정으로 확장한다. 우리의 결과는 푸리에 신경 연산자(Fourier neural operator)를 포함한 딥 연산자 네트워크(Deep Operator Networks) 및 적분 커널 기반 신경 연산자에 적용된다. 보흐너(Bochner) $L^p$-노름에서 최적 가능 수렴 속도가 $1/p$ 차수의 속도로 제한됨을 보인다.

arXiv:2606.25185v1cs.LG

Neural operator-based digital twins for modeling amyloid-$β$ and tau propagation and treatment optimization in Alzheimer's disease

종단 PET 영상의 희소·잡음 데이터로부터 피질 표면에서 amyloid-β와 tau의 비선형 반응-확산 역학을 신경 연산자(neural operator) 학습과 reduced-order 표현으로 추론해 환자별 디지털 트윈을 구축한다. amyloid-β 87%, tau 81% 예측 정확도를 달성했으며, 학습된 역학에 PDE 제약 최적 control을 결합해 병리 단백질 전파를 조절하는 개인 맞춤 치료 전략을 설계할 수 있다.

arXiv:2606.21189v1cs.LG

TF-SNO: 비정상 편미분방정식 학습을 위한 시간-주파수 게이팅 스펙트럼 신경 연산자

TF-SNO: Time-Frequency Gated Spectral Neural Operators for Learning Non-Stationary Partial Differential Equations

비정상(non-stationary) 편미분방정식(PDE)은 과학적 계산 전반에 걸쳐 나타나며, 지배적인 주파수 성분과 에너지 분포가 시간에 따라 변화할 수 있다. 많은 스펙트럼 신경 연산자들이 PDE 풀이에 효율적이지만, 롤아웃 단계 전반에 걸쳐 공유된 스펙트럼 응답을 적용함으로써 비정상 시스템의 시변 스펙트럼과 불일치가 발생한다. 이 문제를 해결하기 위해, 우리는 스펙트럼 블록 내부에 학습 가능한 시간-주파수 게이팅을 갖춘 상태 적응형 프레임워크인 시간-주파수 게이팅 스펙트럼 신경 연산자(TF-SNO)를 제안한다. TF-SNO는 현재 상태로부터 압축된 주파수 도메인 및 물리 공간 통계를 추출하여 변조 계수를 생성함으로써, 스펙트럼 응답이 동역학과 함께 진화할 수 있도록 한다. TF-SNO는 명시적인 시간 차원이나 시간 임베딩을 도입하지 않고 진화하는 상태로부터 시간적 변화를 암묵적으로 학습하여 모델링 복잡도를 낮게 유지한다. 또한 적응형 연산자 블록을 임베딩하여 다중 스케일 특징을 정확히 포착함으로써 장기 롤아웃 안정성을 향상시킨다. 1D 및 2D의 6개 비정상 PDE 벤치마크에 대한 실험에서 TF-SNO는 강력한 기준 모델들에 비해 예측 오차를 크게 줄이고 강건성을 향상시켰으며, 특히 장기 롤아웃에서 뚜렷한 성능 향상을 보였다. 이는 비정상 물리 시스템 모델링에서 상태 의존적 스펙트럼 적응의 효과를 입증한다.

arXiv:2606.20771v1cs.LG

ELADO: 오퍼레이터 학습을 위한 타원형 PDE 평가 데이터셋

ELADO: Elliptic PDE Assessment Datasets for Operator Learning

본 논문은 ELADO(Elliptic PDE Assessment Datasets for Operator Learning)를 소개한다. ELADO는 타원형 PDE의 해(solution) 오퍼레이터를 학습할 때 신경 오퍼레이터(neural operator) 아키텍처의 실패 모드를 드러내고 정량화하기 위해 구축된 체계적인 벤치마크 모음이다. 기존 데이터셋의 벤치마크는 평균 케이스 성능에 초점을 맞추는 반면, ELADO 데이터셋은 타원형 PDE 문제에서 자연스럽게 발생하는 과제들을 부각하도록 구성되었다. 특히, 비일정(non-constant) 계수를 갖는 푸아송 방정식(Poisson's equation)과 Helmholtz 방정식을 중심으로 여러 데이터셋을 구축한다. 각각의 어려움의 원인을 분리하도록 설계된 데이터셋을 생성하기 위해 조절 가능한 데이터 생성 과정을 정의한다. 구체적으로, 이는 (1) 꼬리가 가벼운(light-tailed) 계수장(coefficient field) 분포에서 비롯되는 꼬리가 무거운(heavy-tailed) 해 분포, (2) 입력 데이터의 스펙트럴 분포 이동(spectral distribution shift), (3) 꼬리가 가벼운 계수장 분포에서 비롯되는 해의 주파수 영역에서의 꼬리가 무거운 분포, (4) 경험적 국소 Lipschitz 분석으로 정량화되는 학습된 오퍼레이터의 입력 민감도(input sensitivity), (5) 제어된 진폭 정규화 하에서 입력 신호 복잡도가 예측 정확도에 미치는 영향이다. 모든 데이터셋에 걸쳐 여러 신경 오퍼레이터 아키텍처를 평가한 결과, 꼬리가 무거운 타깃, 스펙트럴 이동, 입력 민감도가 각각 예측 정확도를 상당히 저하시킨다는 것을 보였다. 이러한 저하는 표준 데이터셋과 지표(예: 평균 상대 $L^2$ 오차)로는 가려질 수 있다.

arXiv:2606.17513v1cs.LG

연산자 학습에서의 기하학적 인식 사후 불확실성 정량화

Geometry-Aware Post-Hoc Uncertainty Quantification in Operator Learning

신경망 연산자는 편미분 방정식(PDE)을 위한 빠른 대체 모델을 제공하지만, 결정론적 예측으로 인해 불확실성 정량화(UQ)가 필요한 작업, 특히 기하학적 변동성이 존재하는 상황에서의 사용이 제한됩니다. 기존 접근법은 주로 네트워크 매개변수에서 불확실성을 모델링하여, 연산자 자체가 학습한 기하학적 인식 표현을 대부분 간과합니다. 본 논문에서는 REEF-GP(Residual on Embedded Features Gaussian Process)를 제안합니다. 이는 내부 임베딩이 커널 특징 공간을 정의하는 고정된 신경망 연산자의 잔차에 가우스 프로세스(GP)를 적합시키는 사후 불확실성 정량화 프레임워크입니다. 별도의 특징 맵을 학습하는 대신, REEF-GP는 연산자의 내재적 좌표-특징 표현을 활용하여 기하학적 인식 불확실성을 구성합니다. 비정형 도메인에서 안정성과 확장성을 보장하기 위해, REEF-GP는 스펙트럼 정규화 투영, 이분산성 기하학적 인식 노이즈, 그리고 제한적인 저순위 근사를 피하는 효율적인 부분집합 기반 학습을 통합합니다. 다양한 기하학적 구조를 가진 5개의 편미분 방정식 벤치마크에서 REEF-GP는 예측 정확도를 유지하면서도, 딥 앙상블과 경쟁력 있는 보정된 불확실성 추정치를 훨씬 적은 비용으로 달성했습니다. 제안하는 방법은 기하학적 분포 변화 하에서도 견고성을 유지하며, 불확실성은 물리적으로 의미 있는 영역(예: 충격파 전선)에 집중됩니다. 실험 결과는 신경망 연산자에 대한 정확하고 확장 가능한 사후 불확실성 정량화가 학습된 특징 공간 내에서 직접 달성될 수 있음을 보여주며, 이는 매개변수 중심 접근법에 대한 실용적인 대안을 제공합니다.

arXiv:2606.17460v1cs.LG

Operator Boosting은 파레토 효율적인 PDE 대리 모델을 생성합니다

Operator Boosting Produces Pareto-Efficient PDE Surrogates

신경망 연산자(neural operators)는 편미분 방정식(PDEs)에 대한 대리 솔루션 맵으로 널리 사용되지만, 전체 크기 모델은 다중 쿼리(many-query) 과학 워크플로우에서 저장, 배포 및 평가 비용이 많이 들 수 있습니다. 본 연구는 큰 모델을 학습한 후 압축하는 대신, 소형 신경망 연산자(neural-operator) 대리 모델을 직접 구축하기 위한 단계별 잔차 학습(stagewise residual-learning) 프레임워크인 Operator Boosting을 소개합니다. 정규화된 출력 좌표에서 경험적 평균 예측기(empirical mean predictor)에서 시작하여, 이 방법은 잔차 필드(residual fields)에 대해 일련의 매우 작은 동일 계열 신경망 연산자를 학습하고 검증(validation) 선택 축소(shrinkage)를 통해 각 수정 사항을 통합합니다. 우리는 푸리에 신경망 연산자(FNOs), DeepONets, 합성곱 신경망 연산자(CNOs)를 사용하여 이 프레임워크를 구현하고, PDEBench, APEBench, The Well의 1차원, 2차원 및 3차원 PDE 벤치마크(benchmarks) 전반에서 부스팅된 소형 스택(boosted tiny stacks)을 전체 크기 단일형 베이스라인(full-size monolithic baselines)과 비교합니다. 30개의 데이터셋(dataset)-아키텍처 쌍 중 21개는 긍정적인 평균 정확도 향상을 보였고 17개는 긍정적인 신뢰 구간을 가졌으며, 모든 부스팅된 스택은 학습 가능한 매개변수(parameter) 수를 약 72-95% 감소시켰습니다. 최상 모델(model) 비교 결과, 2차원 나비에-스토크스(Navier-Stokes), 천수(shallow-water) 역학, 다시 흐름(Darcy flow), 1차원 이송 및 반응 시스템, 3차원 압축성 나비에-스토크스를 포함하여 완료된 10개의 PDE 벤치마크 중 7개에서 경험적 파레토(Pareto) 개선이 나타났습니다. 이러한 결과는 Operator Boosting이 신경망 PDE 대리 모델의 경험적 정확도-매개변수 파레토 프론티어(Pareto frontier)를 개선하는 경우가 많음을 보여주지만, 동시에 잔차 부스팅(residual boosting)이 압축을 상쇄하지 못하는 PDE 및 아키텍처 의존적 영역(regimes)도 드러냅니다.

arXiv:2606.17419v1cs.LG

소볼레프 공간에서의 다중 입력 신경망 연산자 학습에 대한 일반화 보장

Generalization Guarantees for Multi-Input Neural Operator Learning in Sobolev Spaces

본 연구는 다중 입력 신경망 연산자(neural operator)에 대한 근사 및 일반화 오차 추정치를 제시하며, 출력 오차는 소볼레프 놈(Sobolev norms)으로 측정됩니다. 단일 입력 함수를 사용하는 표준 연산자 학습 설정과 대조적으로, 본 프레임워크는 서로 다른 영역(domain)에 정의되고 차원 및 소볼레프 정칙성(regularity)이 상이할 수 있는 다중 입력 함수를 지원합니다. 도출된 비율은 각 입력 공간이 최종 오차 한계에 미치는 기여도를 명시적으로 정량화합니다. 특히 균형 상태(balanced regime)에서 근사 및 일반화 비율은 입력 차원, 정칙성, 소볼레프 차수 간의 상호작용에 의해 결정되며, 모델 복잡도에 대한 의존성은 \(\log\log/\log\)-유형의 구조를 유지합니다. 본 분석은 소볼레프 학습(Sobolev training)을 포함한 다중 입력 연산자 학습을 위한 일반적인 이론적 프레임워크를 제공하며, 편미분 방정식(PDE) 및 과학적 계산에서 발생하는 연산자 학습 문제에 적용할 수 있습니다.