arXiv:2605.15285v4 cs.LG

비선형 작용소와 그 도함수의 보편 근사

Universal Approximation of Nonlinear Operators and Their Derivatives

Filippo de Feo

제출 2026-05-14

저자 비고

arXiv Comments

The presentation of the results has been streamlined and improved

한국어 초록

본 논문에서는 작용소 학습(OL) 아키텍처를 통한 비선형 작용소 및 그 도함수의 보편 근사(UA)가 ${C^k_F}$(Fréchet) 콤팩트-오픈 위상 및 Fréchet-Sobolev 노름(즉, 작용소 노름 하에서)에서 성립하지 않음을 보인다. 우리는 보다 자연스러운 약한 위상인 $C^k_B$(Bastiani) 콤팩트-오픈 위상 및 일반적인 유한 입력 측도에 대한 (새로운) 가중 Bastiani-Sobolev 공간에서 UA를 복원함으로써 이러한 난점을 해결한다. 완전한 바나흐 공간(Banach space)의 일반성 하에서, 이는 [Hornik, 1991]의 영향력 있는 고전적 결과를 무한차원 공간 및 OL로 완전히 확장한 최초의 일반화이다. 우리는 자체적인 UAT에 기반하여 DIOL에서 Bastiani-Sobolev 학습(training)을 정식화한다. 이러한 결과는 일반 바나흐 공간에서 도함수 정보 기반 작용소 학습(DIOL)(즉, 비선형 작용소와 그 도함수 학습)의 시초를 연다. 비선형 작용소는 일반 바나흐 공간에서 사용 가능한 고전적 OL 아키텍처인 인코더-디코더 아키텍처를 통해 매개변수화되며, 여기에는 우리 UAT가 다루는 DeepONet, Deep-H-ONet, PCA-Net이 포함된다. 핵심적인 수학적 결과로서, 우리가 제안하는 새로운 가중 Bastiani-Sobolev 공간은 바나흐 공간상의 고전적 가우스(Malliavin) Sobolev 공간을 일반화한다. DIOL과 우리 UAT가 응용될 수 있는 미개척 분야로는 OL에서의 고차 정확도 달성, Learn-Then-Optimize를 통한 바나흐 공간에서의 빠른 제약 최적화(예: 편미분방정식(PDE)의 최적 제어, 역문제), 무한차원 PDE를 위한 수치적 기법(예: PDE, SPDE, 경로 의존 시스템, 부분 관측 시스템, 평균장 제어의 최적 제어 등 Optimize-Then-Learn을 통한 무한차원 최적 제어 기반 바나흐 공간상 HJB PDE) 등이 있다.

원문 초록

We show that Universal Approximation (UA) of nonlinear operators and their derivatives via Operator Learning (OL) architectures fails in ${C^k_F}$ (Fréchet) compact-open topologies and in Fréchet--Sobolev norms (i.e. under operator norms). We solve this obstruction by restoring UA in natural weaker topologies: $C^k_B$ (Bastiani) compact-open topologies and (novel) weighted Bastiani--Sobolev spaces for general finite input measures. In full Banach-space generality, these are the first complete generalizations of the corresponding influential classical results in [Hornik, 1991] to infinite-dimensional spaces and OL. Based on our UATs, we formulate Bastiani--Sobolev training in DIOL. These results launch Derivative-Informed Operator Learning (DIOL) (i.e. learning nonlinear operators and their derivatives) on general Banach spaces. We parameterize nonlinear operators via Encoder-Decoder Architectures, classical OL architectures available in general Banach spaces; these include DeepONets, Deep-H-ONets, and PCA-Nets, which our UATs cover. A key mathematical result is that our new weighted Bastiani--Sobolev spaces generalize classical Gaussian (Malliavin) Sobolev spaces on Banach spaces. Open frontiers where DIOL and our UATs find applications are: high-order accuracy in OL; fast constrained optimization in Banach spaces (e.g. optimal control of PDEs, inverse problems) via Learn-Then-Optimize; numerical methods for infinite-dimensional PDEs (e.g. HJB PDEs on Banach spaces from infinite-dimensional optimal control via Optimize-Then-Learn, such as optimal control of PDEs, SPDEs, path-dependent systems, partially observed systems, mean-field control).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.15285v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.12264v5math.NA공통 태그 Operator learning, universal approximation

연산자 학습과 범용 근사를 위한 사영 방법론

Projection Methods for Operator Learning and Universal Approximation

Leray-Schauder 사상을 이용하여 임의의 바나흐 공간 위의 연속(비선형 포함) 연산자에 대한 새로운 범용 근사 정리를 도출한다. 또한, 다변수 함수로 이루어진 바나흐 공간 $L^p$에서 다항식 기저에 대한 직교 사영을 기반으로 한 연산자 학습 방법을 도입하고 연구한다. 추가적인 가정 하에 선형 사영과 유한 차원 사상을 학습하는 연산자에 대한 범용 근사 결과를 유도한다. $p=2$인 경우에 대해서는 근사 결과가 성립하기 위한 몇 가지 충분조건을 제시한다. 본 논문은 연산자 학습에서의 심층 학습 방법론을 위한 이론적 프레임워크로서 기능한다.

arXiv:2606.28519v1cs.LG공통 태그 Operator learning, deeponet

부분 학습 가능 연산자 학습 프레임워크: 대규모 응용을 위한 DeepONet과 Karhunen-Loeve 전개의 연결

A Trainable-by-Parts Operator Learning Framework: Bridging DeepONet and Karhunen-Loeve Expansions for Large-Scale Applications

편미분방정식(PDE)으로 지배되는 대규모 문제에 대한 연산자 학습 모델의 학습은 차원의 저주, 메모리 제약, 그리고 제한된 학습 데이터로 인해 어렵다. 이러한 문제는 지하 흐름, 기후 모델링, 지질 탄소 저장(GCS)을 포함한 다양한 과학 및 공학 응용 분야에서 발생한다. 본 연구에서는 Karhunen-Loeve 심층 신경망(KL-DNN)을 기반으로 한 확장 가능한 연산자 학습 프레임워크를 제안하고, GCS 모델링에 대한 성능을 입증한다. 모델은 170만 셀과 50개 시간 단계를 포함하는 3차원 도메인에서의 대규모 시뮬레이션 100개 샘플로 구성된 데이터셋으로 학습된다. KL-DNN 방법은 정적 속성의 저순위 특이값 분해와 동적 압력장에 대한 중첩 Karhunen-Loeve 전개를 사용하여 잠재 공간을 구성하며, 서브샘플링이나 공간 조잡화 없이 전체 해상도 예측을 가능하게 한다. KL-DNN 모델은 압력에 대해 평균 1.1 psi의 평균 제곱근 오차(RMSE)(도메인 내 평균 압력 대비 0.04% 상대 오차)와 CO2 포화도에 대해 RMSE 0.0146(플룸 내부 평균 포화도 대비 5% 상대 오차)을 달성한다. 모델은 단일 GPU에서 20분의 학습 시간을 필요로 하며, 동일한 데이터셋으로 학습된 DeepONet 대비 압력 오차 19% 감소, 포화도 오차 7% 감소, 2차 규모의 속도 향상을 나타낸다. 이러한 결과는 1분 미만의 추론 시간과 함께, 제안된 모델이 대규모 PDE 문제에 대한 실용적이고 정확한 솔루션으로서 신속한 불확실성 정량화, 히스토리 매칭, 실시간 의사결정 지원을 가능하게 함을 보여준다.

arXiv:2301.12538v2cs.LG공통 태그 Operator learning, deeponet

연산자 학습을 통한 동기 발전기 동적 응답 근사: 심층 연산자 기반 전력망 시뮬레이터 구축을 향한 한 걸음

On Approximating the Dynamic Response of Synchronous Generators via Operator Learning: A Step Towards Building Deep Operator-based Power Grid Simulators

본 논문은 동기 발전기의 동적 응답을 근사하기 위한 연산자 학습(Operator Learning) 프레임워크를 개발한다. 이 프레임워크는 (i) 전력망 시뮬레이터와 상호작용하는 신경망 기반 발전기 모델을 구축하거나, (ii) 실제 발전기의 과도 응답을 모사하는 데 사용할 수 있다. 먼저, 발전기의 무한차원 해(solution) 연산자를 근사하기 위해 데이터 기반 심층 연산자 네트워크(Deep Operator Network, DeepONet)를 개발한다. 이어서, 주어진 시간 구간에 걸쳐 발전기의 응답을 시뮬레이션하는 DeepONet 기반 수치 기법을 설계한다. 제안된 기법은 발전기와 전력망 간의 상호작용을 기술하는 다차원 입력에 대해, 학습된 DeepONet을 재귀적으로 활용하여 응답을 시뮬레이션한다. 또한, 기존 수학적 모델의 정보를 통합할 수 있는 잔차(Residual) DeepONet 수치 기법을 설계한다. 이 잔차 DeepONet 기법에는 예측의 누적 오차에 대한 추정치를 함께 제시한다. 마지막으로, 다른 전력망 구성 요소와의 상호작용 시뮬레이션 과정에서 DeepONet이 실제로 접하게 될 가능성이 높은 집계된 학습 데이터를 사용하여 DeepONet의 파인튜닝(fine-tuning)을 가능하게 하는 데이터 집계(DAgger) 전략을 구축한다. 개념 검증으로, 제안된 프레임워크가 동기 발전기의 과도(transient) 모델을 효과적으로 근사할 수 있음을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.