Self-explainable Operator Learning for Discovering Spatial Patterns in Functional Data
원문 초록
Operator learning has emerged as a powerful tool for modeling complex physical systems in functional spaces. However, their neural network-based architectures make them opaque models, obscuring the reasoning behind their predictions. In this work, we introduce a self-explainable operator learning framework that overcomes this challenge by reformulating operator learning as a linear combination of generalized functional linear models expressed through integral equations. Exploiting the additive decomposability of these integral equations, we divide the input domain into subdomains and compute localized integrals to evaluate the contribution of each region to the final prediction. This decomposition enables direct interpretability where the model explains both inputs and outputs by linking specific input regions to corresponding output patterns, thereby revealing which spatial features drive predictions. We demonstrate the framework on function-to-scalar and function-to-function mappings in fluid flow problems involving blood flow and unsteady aerodynamics. The results show that the operator most often prioritizes regions with strong feature gradients, providing physically meaningful insight into the model's decision-making process. Comparisons with established post-hoc explainability methods demonstrate qualitative agreement while highlighting the key advantage of the proposed approach: explainability is embedded directly within the operator structure itself and does not require an external tool. Therefore, our framework provides a mathematically transparent and physically interpretable approach to uncover relationships within data, fostering trust in machine learning for scientific applications by enabling more informed data-driven analysis of physical systems.
요약
복잡한 물리 시스템 모델링에 활용되는 연산자 학습(operator learning)의 불투명성 문제를 해결하기 위해, 적분 방정식 기반의 일반화 함수형 선형 모델(gFLM)의 선형 결합으로 연산자 학습을 재구성하는 자기 설명 가능(self-explainable) 프레임워크를 제안한다. 입력 도메인을 서브도메인으로 분할하여 각 영역의 기여도를 직접 계산함으로써, 혈류 및 비정상 공기역학 문제에서 강한 특징 기울기를 갖는 공간 영역이 예측에 핵심적임을 물리적으로 해석 가능한 방식으로 밝혔으며, Kernel SHAP, Occlusion Sensitivity, Grad-CAM 등 사후 설명 기법(post-hoc explainability)과 유사한 결과를 보이면서도 외부 도구 없이 연산자 구조 자체에 설명 가능성을 내재화했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02203v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
부분 학습 가능 연산자 학습 프레임워크: 대규모 응용을 위한 DeepONet과 Karhunen-Loeve 전개의 연결
A Trainable-by-Parts Operator Learning Framework: Bridging DeepONet and Karhunen-Loeve Expansions for Large-Scale Applications
편미분방정식(PDE)으로 지배되는 대규모 문제에 대한 연산자 학습 모델의 학습은 차원의 저주, 메모리 제약, 그리고 제한된 학습 데이터로 인해 어렵다. 이러한 문제는 지하 흐름, 기후 모델링, 지질 탄소 저장(GCS)을 포함한 다양한 과학 및 공학 응용 분야에서 발생한다. 본 연구에서는 Karhunen-Loeve 심층 신경망(KL-DNN)을 기반으로 한 확장 가능한 연산자 학습 프레임워크를 제안하고, GCS 모델링에 대한 성능을 입증한다. 모델은 170만 셀과 50개 시간 단계를 포함하는 3차원 도메인에서의 대규모 시뮬레이션 100개 샘플로 구성된 데이터셋으로 학습된다. KL-DNN 방법은 정적 속성의 저순위 특이값 분해와 동적 압력장에 대한 중첩 Karhunen-Loeve 전개를 사용하여 잠재 공간을 구성하며, 서브샘플링이나 공간 조잡화 없이 전체 해상도 예측을 가능하게 한다. KL-DNN 모델은 압력에 대해 평균 1.1 psi의 평균 제곱근 오차(RMSE)(도메인 내 평균 압력 대비 0.04% 상대 오차)와 CO2 포화도에 대해 RMSE 0.0146(플룸 내부 평균 포화도 대비 5% 상대 오차)을 달성한다. 모델은 단일 GPU에서 20분의 학습 시간을 필요로 하며, 동일한 데이터셋으로 학습된 DeepONet 대비 압력 오차 19% 감소, 포화도 오차 7% 감소, 2차 규모의 속도 향상을 나타낸다. 이러한 결과는 1분 미만의 추론 시간과 함께, 제안된 모델이 대규모 PDE 문제에 대한 실용적이고 정확한 솔루션으로서 신속한 불확실성 정량화, 히스토리 매칭, 실시간 의사결정 지원을 가능하게 함을 보여준다.
입력 스킵 잠재 이진 베이지안 신경망을 통한 설명 가능한 베이지안 심층 학습
Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks
인공 신경망(ANN)으로 자연 현상을 모델링하면 높은 정확도의 예측을 제공하는 경우가 많습니다. 그러나 ANN은 과잉 파라미터화(over-parameterization)로 인해 해석이 복잡해지고 불확실성 문제가 발생하는 경우가 많습니다. 베이지안 신경망(BNN)은 가중치를 확률 분포로 표현함으로써 예측 불확실성 평가를 가능하게 하여 후자의 문제를 해결합니다. 잠재 이진 베이지안 신경망(LBBNN)은 구조적 불확실성을 추가로 처리하고 불필요한 가중치를 제거하여 모델을 희소화합니다. 본 논문은 공변량(covariate)이 이후의 임의의 층으로 스킵하거나 제외될 수 있도록 함으로써 LBBNN을 발전시켜 네트워크를 단순화하고 예측에 대한 입력의 영향을 명확히 합니다. 이를 통해 적절한 경우 더 단순한 구조(예: 선형 모델 또는 상수 절편 전용 모델)를 학습할 수 있습니다. 또한 입력 스킵 LBBNN(ISLaB) 방법은 표준 LBBNN 대비 네트워크 밀도를 크게 줄여, 소규모 네트워크에서는 99% 이상, 대규모 네트워크에서는 99.9% 이상의 감소를 달성하면서도 높은 예측 정확도와 불확실성 정량화를 유지합니다. 예를 들어, MNIST에서 단 935개의 가중치만으로 97% 정확도와 우수한 캘리브레이션을 달성하여 신경망 압축 분야에서 최신 성능(state-of-the-art)에 도달했습니다. 또한 제안된 방법은 실제 공변량을 정확하게 식별하고 시스템 비선형성을 조정합니다. 주요 기여는 활성 경로(active path)의 도입으로, LBBNN 프레임워크 내에서 직접 설계된 전역 및 지역 설명을 강화한다는 점입니다. 후자는 이론적 보증이 있는 정확한 방법으로, 사후(post hoc) 외부 도구를 필요로 하지 않습니다.
Mesh-Informed Neural Operator : A Transformer Generative Approach
Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning
Learning Where to Learn: Training Distribution Selection for Provable OOD Performance
Self-Supervised Evolution Operator Learning for High-Dimensional Dynamical Systems
토론
이 논문과 연결된 포럼 글이 아직 없습니다.