Operator learning for partial differential equations (PDEs) on arbitrary geometries builds fast neural surrogates for large-scale simulation. While recent geometry-adaptive neural operators have made substantial progress, they are mainly designed for forward problems in which inputs and outputs share the same spatial domain. This limits their applicability for boundary value problems (BVPs) and inverse problems, where inputs and outputs may live on different domains. We introduce the Geometry-Adaptive Integral Autoencoder (GAIA), an operator learning model that encodes the domain boundary and the interior field distribution into geometry tokens, and conditions integral transform layers on these tokens via cross-attention, allowing the kernel to adapt locally to geometric features. This yields an architecture capable of learning solution operators for forward and inverse problems on arbitrary domains, solving each in a single pass at inference without per-domain optimization, iterative refinement, or graph construction. We evaluate GAIA on seven 2D and 3D benchmarks, four of which are new or substantially extended benchmarks for inverse problems and BVP: electrical impedance tomography, optical tomography, 3D Darcy flow on varying geometries, and a modified setting of the Poisson BVP on mechanical components benchmark (MCB). GAIA sets new state-of-the-art results on every inverse and BVP task, reducing median relative $L^2$ error by 64% on airfoil flow reconstruction and 22% on EIT relative to the next best amortized method, and outperforming all baselines on every shape category of MCB. On other forward problems, GAIA is competitive with specialized solvers while maintaining stable accuracy across point resolutions on which transformer-based baselines degrade.
신경 연산자(Neural operator)는 빠른 편미분방정식(PDE) 예측을 가능하게 하지만, 반복적인 예측은 오차를 누적시키며 미세 스케일 구조를 정확히 분해하고 해석하는 데 여전히 어려움이 있습니다. 본 연구에서는 업데이트된 저주파수 특징을 활용하여 고주파수 정보의 비선형 정제를 유도하는 주파수 분해 기반 유한 시간 유동 사상 신경 연산자(F$^3$NO)를 소개합니다. 각 층(layer) 내에서 이러한 교차 스케일 조건화는 전역적 스펙트럼 처리와 국소적 세부 정보 정제를 연결합니다. 제안된 모델(model)은 지정된 미래 시점의 상태를 직접 예측하며, 예측 간격에 따라 두 갈래(branch)의 기여도를 조절합니다. 더 긴 궤적에 대해서는 짧은 시간 분할 내 병렬 예측과 분할 간 순환 전파를 결합합니다. 5개의 PDE 벤치마크에 대한 실험을 통해 자기회귀 및 직접 예측 베이스라인 대비 향상된 예측 정확도를 입증합니다. 절제 연구(ablation study)에서는 주파수 분해 정제가 더 적은 파라미터로도 정확도를 향상시킬 수 있는 반면, 시간 분할의 이점은 공간 해상도와 동역학적 체제에 따라 달라짐을 보여줍니다.
벡터값 편미분 방정식(PDE)을 위한 신경 대리 모델은 학습(training) 데이터에는 잘 적합될 수 있지만, 동일한 물리적 상태가 회전된 좌표계로 표현될 때 예측값이 달라질 수 있습니다. 본 연구에서는 불규칙하게 배치된 지점에서 관측되는 3차원 나비에-스토크스(Navier--Stokes) 동역학에서 이러한 문제를 조사합니다. 우리는 회전에 의해 변하지 않는 스칼라양과 데이터를 따라 함께 회전하는 벡터 방향으로부터 국소 상호작용을 구성하는 소형 그래프 모델인 불변 조건화 등방성 커널 신경 연산자(IKNO)를 소개합니다. 그 결과, 위치와 속도를 회전시키면 예측된 속도 변화도 정확히 동일한 방식으로 회전합니다. 모델 설계 후 고정된 홀드아웃 테스트 세트에서, 무제약 그래프 모델을 무작위로 회전된 예제로 학습시키면 좌표 의존성이 줄어들기는 하지만 완전히 제거되지는 않습니다. 반면, IKNO는 수치 정밀도(precision) 수준에서 일관성을 유지하며, 파라미터 수가 5.6배 적으면서도 일반적인 회전 인지 텐서(tensor) 장 네트워크(Tensor Field Network)의 예측 정확도와 일치하고 파라미터 수가 동일한 그래프 시뮬레이터보다 우수한 성능을 보입니다. 이러한 결과는 소형 PDE 특화 모델이 예측 정확도를 희생하지 않고도 좌표 의존성을 제거할 수 있음을 보여줍니다.
이종 2.5D/3D 집적 회로(3D-IC) 패키지의 정확한 열 해석은 필수적이지만 계산 비용이 지나치게 높습니다. 단일 풀 패키지 유한 요소법(FEM) 시뮬레이션은 수 시간이 걸릴 수 있으며, AI 기반 대리 모델(surrogate)은 전체 스택을 단일(monolithic) 예측 대상으로 취급하므로 다이(die) 수나 토폴로지가 변경될 때마다 재학습해야 합니다. 이러한 한계를 해결하기 위해 본 연구에서는 열 해석을 위한 도메인 분해 AI 가속 반복 솔버인 DAIST(Domain-Decomposed AI-Accelerated Iterative Solver for Thermal Analysis)를 제안합니다. DAIST는 글로벌 패키지 시뮬레이션을 블록 수준의 서브도메인 문제로 분해하고, 서브도메인 솔버를 신경 연산자(neural operator)로 대체하며, 계면 온도와 열유속(heat flux)의 반복적 교환을 통해 이들을 결합하는 구성 가능한(composable) 열 솔버입니다. 이러한 로컬-투-글로벌(local-to-global) 아키텍처는 단일 모델의 토폴로지 종속성을 제거하여, 블록 수준의 신경 연산자를 재학습 없이 이전에 보지 못한 패키지 조립 구조에 직접 재사용할 수 있도록 합니다. 또한 반복 커플링 전략은 제어 가능한 정확도-실행 시간 간의 트레이드오프를 제공하여, 반복 예산을 조정함으로써 정확도와 실행 시간을 상호 조율할 수 있습니다. 멀티 칩렛 시스템과 첨단 패키징 시스템에서 평가한 결과, DAIST는 기존 FEM 솔버 대비 최대 $178\times$의 속도 향상을 달성하면서 각각 0.068%와 0.323%의 평균 온도 오차를 기록했으며, 구조적으로 상이한 패키지 조립 전반에 걸쳐 블록 수준 모델의 교차 토폴로지 재사용성을 입증했습니다.
생성 그래프 모델은 복잡계 네트워크를 이해하고 시뮬레이션하는 데 핵심적인 역할을 합니다. 그러나 기존 접근 방식들은 상호보완적인 장점과 한계를 지닙니다. 기전 모델(mechanistic model)은 해석 가능성을 제공하지만 인스턴스별 추정 방법에 의존합니다. 반면 심층 생성 모델은 분할 상환 추론(amortized inference)을 제공하지만 해석 가능성을 희생하며, 학습 중에 관측된 그래프 크기로 대체로 제한됩니다. 과학적 응용 분야에서는 두 패러다임의 장점을 모두 유지하는 프레임워크가 요구됩니다. 본 연구에서는 생성 모델과 매개변수 복원을 모두 함수 공간에서 정식화하여 이 두 접근법을 연결합니다. 다중프랙탈 스텝 그라폰(multifractal step graphon)은 복잡계 네트워크를 조밀하게 매개변수화하는 재귀적 구조를 통해 표준 스텝 그라폰을 확장합니다. 이러한 정식화는 매개변수를 복원하기 위한 신경망 역연산자(neural inverse operator)를 도입할 수 있게 하여, 학습 시 보지 못한 그래프 크기에 대해서도 추론을 가능하게 합니다. 본 연구에서는 합성 다중프랙탈 스텝 그라폰 실현치로만 학습된 제안 모델을 두 패러다임 모두와 비교 평가합니다. 실증 네트워크로 사전학습된 그래프 파운데이션 모델과 비교했을 때, 제안 방법은 제로샷(zero-shot) 그래프 생성 벤치마크의 4개 지표 중 3개에서 최고의 평균 성능을 달성하여 실제 그래프로도 전이됨을 보여줍니다. 또한 학습 말뭉치가 필요한 심층 모델이 접근하기 어려운 영역인 단일 관측 네트워크에도 제안 방법을 적용하였으며, 각 그래프마다 최적화를 수행하는 인스턴스별 방식과 비견할 만한 성능을 보였습니다. 다중 피험자 뇌파(EEG) 사례 연구에서는 추론된 매개변수가 기존의 네트워크 통계량보다 뇌 상태의 가역적 변화를 더 민감하게 추적함을 확인했습니다. 종합적으로 이러한 결과는 기전적 해석 가능성과 분할 상환 추론이 생성 그래프 모델 내에서 효과적으로 통합되어 복잡계 네트워크에 대한 이해를 향상시킬 수 있음을 나타냅니다.
희소 관측(sparse observation)으로부터 완전한 물리 필드(physical field)를 복원하는 것은 측정값이 기저 상태(underlying state)를 고유하게 결정하지 못할 수 있기 때문에 어려운 문제이다. 디퓨전 기반(diffusion-based) PDE 솔버는 반복적 샘플링(iterative sampling)을 통해 이 문제를 해결하는 반면, 신경 연산자(neural operator)는 결정론적인 단일 패스(one-pass) 예측을 제공한다. 우리는 전체 필드 잠재 예측(full-field latent prediction)과 물리적 복원(physical reconstruction)을 결합하여 희소 관측으로부터 완전한 PDE 필드를 복원하는 SCOPE(Sparse-Context Observability-aware Predictive Embeddings)를 제안한다. 공유 디코더(shared decoder)는 예측된 표현(representation)과 완전한 뷰(complete-view) 표현 양쪽 모두로부터 필드를 재구성하여, 표현 학습(representation learning)이 물리적 복원과 잠재 매칭(latent matching) 양쪽 모두에 의해 안내되도록 한다. 우리는 고정된 교사-디코더(teacher-decoder) 쌍에서의 2차 리스크 분해(quadratic risk decomposition)를 도출하여, 최적의 잠재 예측이 왜 반드시 최적의 필드 복원으로 이어지지는 않는지를 보인다. 또한 완전한 입력(complete input)에 대한 디코더 개선이 부분 관측으로부터의 복원으로 전이(transfer)되기 위한 충분조건(sufficient condition)을 확립한다. 다섯 가지 PDE 설정에 대한 실험 결과, SCOPE는 마스크 인지(mask-aware) 신경 연산자를 10개의 정방향(forward) 및 역방향(inverse) 과제 전체에서 능가하며, DiffusionPDE와 FunDPS를 포함한 디퓨전 기반 솔버에서 보고된 값보다 더 낮은 오차를 달성한다. 디코더만 적응(decoder-only adaptation)시키는 방식은 백본(backbone)을 재학습하지 않고도 복원을 추가로 개선하며, 결정론적 단일 패스 추론(deterministic single-pass inference)을 유지한다.
다중 산란 하에서의 입자 수송은 복사 전달 및 플라즈마 물리학의 핵심이지만, 고정밀 몬테카를로(MC) 시뮬레이션은 감당하기 힘들 정도로 많은 입자를 추적해야 합니다. 학습 기반 대리 모델(surrogate)은 이러한 비용을 분할 상환(amortize)할 수 있지만, 일반적으로 비용이 많이 들고 잘 수렴된 MC 해를 바탕으로 학습(training)합니다. 본 논문에서는 노이즈가 있는 저비용 MC 라벨로부터 입자 수송 대리 모델을 직접 학습하는 신경 연산자(neural operator)인 입자 수송 신경 연산자(PTNO)를 제안합니다. 이러한 라벨은 두 가지 과제를 안겨줍니다: (1) 표준 지도학습을 불안정하게 만드는 높은 분산, (2) 여러 자릿수에 걸쳐 펼쳐진 높은 동적 범위(HDR). 첫 번째 과제에 대해, 우리는 수많은 설정의 노이즈 라벨로부터 해 연산자(solution operator)를 학습하여 MC 비용을 분할 상환하고 보지 못한 설정으로 일반화합니다. MC 라벨은 비편향(unbiased)되어 있으므로, 노이즈 라벨에 대한 제곱 손실(loss)이 수렴된 해에 대한 손실과 동일한 최소화 지점을 공유함을 보이며, 학습 씬 $M$, 렌더링당 MC 샘플 수 $N$, 씬당 독립 렌더링 수 $K$에 대한 예산 할당 연구를 통해 노이즈가 있는 많은 씬이 적은 수의 수렴된 씬보다 우수함을 보여줍니다. 두 번째 과제에 대해, 로그와 같은 비선형 변환은 노이즈가 있는 지도학습에 편향을 유발합니다. 대신 PTNO는 라벨을 물리적 공간에 유지하고, 작은 값을 효과적으로 표현하는 소프트플러스(softplus) 출력 층(layer)을 통해 양수성을 강제합니다. 나아가 우리는 HDR 디노이징 및 신경 렌더링의 그래디언트 차단(stop-gradient) 상대 손실인 점별 상대 $L_2$ 손실(PRelL2)로 학습하며, 이는 각 잔차를 노이즈 라벨 대신 그래디언트가 차단된 예측값으로 정규화합니다. 우리는 핵융합로 내 중성자 수송 및 참여 매질 내 복사 전달에 대해 PTNO를 입증합니다. 두 가지 중성자학 태스크에서 PTNO는 동일 CPU 상에서 수렴된 MC보다 $10^4$-$10^5\times$ 더 빠르며 동일 정확도 기준 MC보다 $10^3$-$10^5\times$ 저렴합니다. 두 가지 복사 전달 태스크에서 동일 정확도 기준 MC는 PTNO보다 $0.8$-$11\times$ 더 많은 비용이 듭니다.
트랜스포머(Transformer) 기반 신경 연산자(neural operator)는 복잡한 형상에서 편미분방정식(PDE)의 해 연산자를 근사하는 데 뛰어난 성능을 보여왔습니다. 그러나 기존 접근 방식들은 암묵적으로 고정된 도메인 크기를 가정하므로 추론 시 일반화 능력이 제한됩니다. 본 연구에서는 도메인 확장, 즉 학습 중에 접한 것보다 훨씬 더 큰 공간 도메인에서의 제로샷(zero-shot) 추론을 조사합니다. 우리는 이 설정이 근본적으로 공간적 국소성(spatial locality)과 평행이동 동변성(translation equivariance)을 필요로 한다고 주장합니다. 이를 위해 어텐션 로짓(attention logits) 계산에 분해 가능한 바이어스를 도입하여 국소성을 구현할 것을 제안하며, 이는 쿼리-키 내적으로 완전히 분해 가능하고 최적화된 어텐션 커널과 직접 호환되면서도 정밀하게 제어 가능한 국소성을 제공합니다. 회전 위치 임베딩(RoPE)과 결합하여, 트랜스포머 아키텍처를 변경하지 않고도 제어 가능한 공간적 지지 집합(spatial support)을 갖는 표현력 있는 임베딩을 가능하게 합니다. 우리는 두 가지 PDE 벤치마크와 3D 산업용 대기 흐름 응용 분야에서 본 접근 방식이 더 큰 도메인으로의 제로샷 일반화를 크게 향상함을 경험적으로 보여줍니다. 코드와 데이터셋은 https://github.com/cerea-daml/domain-extension 에서 확인할 수 있습니다.
자동차에서 항공기에 이르기까지 현대의 엔지니어링 시스템은 정밀하고 연속적인 파라메트릭 컴퓨터 지원 설계(CAD) 모델을 사용하여 설계됩니다. 수치 시뮬레이션을 통해 설계 변경 사항을 평가하려면 연속적인 형상을 격자화(meshing)해야 하는데, 이는 수작업 개입이 필요할 수 있고 계산 비용이 많이 들며 불안정한 경우가 많은 과정일 뿐만 아니라 연속적인 표현을 이산적인 근사치로 대체하게 됩니다. 대부분의 신경 대리 모델(neural surrogate)은 시뮬레이션을 가속하지만, 격자(mesh), 포인트 클라우드(point cloud), 복셀(voxel) 또는 기타 샘플링된 형상 근사치에 의존함으로써 이러한 표현 격차를 그대로 물려받습니다. 본 논문에서는 입력 형상을 격자화하지 않고 연속적인 CAD 형상에서 물리장(physical field)으로 직접 매핑하는 트랜스포머(transformer) 신경 연산자인 CANTO를 소개합니다. 저자들은 파라메트릭 패치(parametric patch)의 시퀀스를 통해 형상을 표현함으로써 기하학적 다양체(manifold)로부터 물리장의 함수 공간으로의 연산자를 학습하기 위한 이론적 프레임워크를 개발합니다. CANTO는 제어점, 매듭 벡터(knot vector), 가중치로부터 비균일 유리 B-스플라인(NURBS) 패치를 직접 토큰화하고, 임의의 쿼리 위치에서 연속적인 표면 및 체적 필드를 예측함으로써 이 프레임워크를 구현합니다. 저자들은 4개의 자동차 및 항공기 공기역학 산업 벤치마크인 AhmedML, WindsorML, DrivAerML, HiLiftAeroML에서 CANTO를 평가합니다. CANTO는 HiLiftAeroML에서 AB-UPT 대비 표면 압력 상대 $L_2$ 오차를 19.8% 감소시키는 등 평가된 대부분의 표면 및 체적 예측 태스크에서 최고 수준(state-of-the-art)의 정확도를 달성합니다. 나아가 CAD 파라미터에 대한 미분 가능성은 그래디언트(gradient) 기반의 역설계를 가능하게 합니다. AhmedML에서 CANTO는 동일한 부피 및 양력 제약 조건을 만족하는 데이터셋(dataset) 내 최적의 설계 대비 항력이 4.4~20.4% 낮은 설계를 식별하며, 이러한 개선 사항은 원래 데이터셋을 생성하는 데 사용된 것과 동일한 CFD 설정을 사용하여 검증되었습니다.
우리는 Manifold Function Encoder(MFE)를 기반으로 한 고성능 편미분방정식(PDE) 신경 솔버로서 Memory-Efficient Neural Operator(MENO)를 제안한다. MENO는 세 가지 주요 장점을 갖는다. (1) MENO는 다른 널리 쓰이는 아키텍처 대비 메모리 사용량이 현저히 작고 학습 속도가 훨씬 빠르며, 메모리 사용량이 데이터 해상도와 무관하므로 대규모 모델로의 스케일링 가능성을 지닌다. (2) MENO는 임의의 기하학적 영역과 임의의 이산화를 포함하여 임의 형태의 PDE 입력을 받을 수 있다. 특히 입력 함수와 출력 해가 서로 다른 매니폴드上에 정의되는 cross-geometry 시나리오, 즉 기하학 간 설정을 처리할 수 있다. (3) MENO는 강한 일반화 능력을 보이며, 문헌에 보고된 결과와 비교했을 때 우리가 테스트한 대부분의 벤치마크에서 최고 정확도를 달성한다. 코드는 https://github.com/jpzxshi/MENO 의 GitHub에서 제공되며, 본 논문의 모든 수치 예제는 보고된 결과를 재현하기 위해 단일 명령으로 실행할 수 있다.
토폴로지 최적화(TO)는 각 반복마다 유한요소 해석(FEA) 평가를 반복해야 하므로 여전히 계산 비용이 크다. 신경망 기반 대리 모델은 가속 가능성을 제공하지만, 기존 접근법은 예측 목적함수와 민감도 사이의 그래디언트 불일치로 인해 최적화 불안정을 겪는 경우가 많다. 본 연구는 신경 재매개변수화 토폴로지 최적화와 민감도 일관 Fourier 신경 연산자(Sensitivity-Consistent Fourier Neural Operator, SC-FNO)를 결합한 목적함수 비의존 프레임워크 KATOsuper를 제안한다. 이 프레임워크는 forward_split 아키텍처를 사용하며, 예측된 목적함수 장에 대한 자동 미분을 통해 배포 민감도를 도출하여 예측 목적함수와 최적화에 사용되는 그래디언트 간의 일관성을 유지한다. 사례 연구에는 준수(compliance) 또는 응력 최소화를 다루는 2D 벤치마크 문제 3건과 3D 구조 3건이 포함된다. Fourier 위치 임베딩을 갖춘 물리 정보 다채널 입력 인코딩은 해상도 불변 학습을 가능하게 하여, 재학습 없이 학습 해상도를 넘어서는 제로샷 외삽을 지원하며, 중간 정도의 스케일링 계수에서는 유용한 성능을, 최대 64배까지는 토폴로지를 보존하는 탐험을 제공한다. 이 프레임워크는 학습 가능한 B-spline 활성화를 갖춘 새로운 KANConv3D 블록을 특징으로 하는 KATO3D를 통해 3D로 확장된다. KATOsuper는 MATLAB 기준 대비 배포 시간 15–110배 속도 향상을 보이면서 경쟁력 있는 최적성을 유지하며, 가장 뚜렷한 이득은 복잡한 3D 및 응력 최적화 사례에서 관찰된다. 민감도의 크기보다 방향이 더 중요하다는 통찰은 근사 물리 평가에서도 견고한 최적화를 가능하게 하며, 다른 미분 가능한 물리 기반 설계 목적함수로도 확장할 수 있다.
연산자 학습(operator learning)은 머신러닝과 과학 계산의 교차점에서 부상하는 분야이다. 함수 공간 사이의 사상을 학습함으로써 신경 연산자(neural operators)는 편미분방정식(PDE) 계열에 대한 데이터 기반 대리 모델(surrogate model)을 제공한다. 학습이 끝나면 이러한 모델은 해 연산자(solution operator)를 효율적으로 평가할 수 있어, 실시간 예측 및 매개변수 스윕(parameter sweep)과 같은 다중 쿼리(many-query) 응용에 적합하다. 그러나 복잡한 순방향 및 역 문제에 대해 높은 근사 정확도와 안정적인 장기 예측을 유지하는 것은 여전히 어렵다. 이러한 과제를 해결하기 위해, 고전적 반복 솔버의 초기화 및 잔차 보정(residual-correction) 구조를 신경 연산자 학습에 통합하는 Starter-Iterator Neural Operator(SINO)를 제안한다. 주파수 영역 Starter는 지배적인 전역 스펙트럴 특성을 포착하고 정보에 기반한 초기 근사를 제공하며, 잠재 공간(latent-space) Iterator는 연속적인 잔차 기반 보정을 적용하여 국소 및 다중 스케일 해 구조를 정교화한다. Navier-Stokes 및 음향 파동 방정식을 포함한 대표적인 시간 의존 PDE, 이미지 초해상(image super-resolution), 일기 예보(weather forecasting) 응용에 대한 실험은 SINO가 본 연구에서 고려한 벤치마크 전반에 걸쳐 경쟁력 있는 정확도와 안정적인 성능을 달성함을 보여준다.
월드 모델은 환경 역학을 포착하고 미래 궤적을 예측하는 것을 목표로 하며, 체화 지능(embodied intelligence)에 대한 잠재력이 커지고 있다. 물리 정보 기반 4D 생성은 물리 시뮬레이션을 통합하여 3D 객체 상호작용을 예측하며, 월드 모델을 향한 유망한 경로를 제공한다. 그러나 이 패러다임은 세계 역학을 내재화하기보다는 수동으로 부과된 역학적 가정에 의존하므로, 진정한 월드 모델까지는 여전히 격차가 남아 있다. 이 격차를 메우기 위해, 우리는 시각 관측으로부터 통합된 내재 역학 표현을 학습하는 새로운 세계 역학 모델링 프레임워크 NeuIDO를 제안하며, 물리 정보 기반 4D 생성을 월드 모델 방향으로 발전시킨다. 구체적으로, 우리는 월드 모델링을 신경 연산자(neural operator) 학습 문제로 정식화하고, 시각 관측 분포에서 내재 역학 분포로의 일반화 가능한 매핑을 학습하기 위한 2단계 학습 전략을 도입한다. 이 관측-역학 매핑을 바탕으로 NeuIDO는 동영상으로부터 직접 제로샷(zero-shot) 역학 추론을 가능하게 하며, 퓨샷(few-shot) 적응을 통해 복잡한 실세계 역학과 추가로 정렬(alignment)할 수 있다. 광범위한 실험을 통해 NeuIDO가 다양한 시각 관측 아래의 내재 역학을 공유 표현으로 효과적으로 통합하고, 새로운 장면에서 역학을 빠르게 추론함을 보여준다.
비평형 열역학의 완전한 GENERIC(메트리플렉틱) 구조를 함수 공간에 직접 임베딩하는 최초의 신경 연산자 GENERIC-FNO를 제안하며, 페널티 항 없이 구조적으로 축퇴 조건을 정확히 강제하여 기계 정밀도(잔차 ~10⁻¹³)로 에너지 보존 및 엔트로피 생성을 보장한다. 3가지 연산자 백본과 4가지 PDE 실험에서 4배 초해상도 범위의 제로샷 일반화와 함께 소산 및 혼합 체제 문제에서 비제약 기준선 대비 경쟁력 있는 성능을 달성했다.
본 연구에서는 희소 학습 데이터로 효율적인 기하학적 일반화를 가능하게 하도록 설계된, 폭넓게 적용 가능한 물리 정보 기반 학습 기법인 잠재 PDE 매핑(latent PDE mapping)을 제안한다. 잠재 PDE 매핑은 변형 그래디언트(deformation gradient)를 통해 형상별 PDE 잔차와 경계 조건을 미리 정의된 잠재 기하학으로 당겨(pull back)옴으로써, 기존 물리 정보 기반 기계학습 공식화에서 누락된 기하학적으로 일관된 형상 그래디언트의 자동 계산을 가능하게 한다. 우리는 물리 정보 기반 신경망(physics-informed neural networks)과 물리 정보 기반 딥 오퍼레이터 네트워크(physics-informed deep operator networks)를 모두 사용하여 심장 전기생리학의 이방성 Aliev-Panfilov PDE를 풀 때 잠재 PDE 매핑의 유용성을 입증한다. Aliev-Panfilov PDE는 도전적인 사례로, 전통적인 수치 솔버로 포착하기 비용이 큰 급격한 그래디언트를 갖는 비선형 시간 의존 PDE 벤치마크이다. 제한된 데이터 체제를 나타내기 위해, 우리는 2차원 및 3차원 공간에서 매개변수화된 분포로부터 추출한 단 15개의 기하학적 샘플만을 사용하여 네트워크를 학습한다. 아핀 및 전단 변형으로 매개변수화된 기하학에서는 완만한 개선만 나타나지만, 잠재 PDE 매핑은 특정 기하학군에서 유의미한 이점을 보이며 평균 상대 L2 오차를 약 4~6배 감소시킨다. 또한 결과는 네트워크 학습 중 잠재 PDE 매핑 적용의 계산 비용이 적었고, 추론 시에는 무시할 수 있을 정도였음을 보여준다. 종합하면, 본 연구는 잠재 PDE 매핑이 제한된 수의 학습 형상으로부터 일반화 가능한 물리 정보 기반 기계학습 모델의 구축을 어떻게 촉진하는지 강조한다.
편미분방정식(PDE)을 위한 기초 신경 시뮬레이터를 개발하려면 다양한 물리적 매개변수와 경계 조건에 걸친 강건한 일반화가 필요하다. 그러나 현재의 심층 학습 접근법은 대부분 조건 비의존적 배포와 물리적 충실도 사이의 구조적 트레이드오프에 직면한다. 순수 데이터 기반 연산자는 기저 물리를 암묵적으로 추론하므로, 변화하는 영역에서 물리적으로 유효한 해를 보장하는 데 필요한 명시적 제약이 부족하여 학습 문제를 부적정(ill-posed)하게 만든다. 한편, 물리 정보 신경망(PINN)은 엄격한 물리적 제약을 강제하지만, 비용이 큰 인스턴스별 최적화가 필요하다. 또한 등장하는 기초 연산자의 대규모화는 추론 속도를 심각하게 저하시켜, 전통적인 수치 솔버와 계산적으로 경쟁력을 잃게 만든다. 조건 비의존적 배포, 물리적 엄밀성, 추론 효율성 사이의 이 병목을 해결하기 위해, 우리는 Generalized Neural Operator를 제안한다. 신경 연산자 내에서 적정성(well-posedness)에 대한 고전적 조건을 형식화함으로써, 우리 프레임워크는 PDE 매개변수와 경계 조건에 명시적으로 조건화하는 것의 이론적 이점을 보여준다. 계산 속도를 희생하지 않고 이 통합을 구현하기 위해, 우리는 세 가지 새로운 아키텍처 구성 요소를 도입한다: 효율적인 매개변수 일반화를 위한 매개변수 게이트 커널 혼합(mixture of kernels), 임의의 경계 제약을 통합된 잠재 Dirichlet 표현으로 투영하는 일반화된 경계 전달 연산자, 그리고 안정성을 보장하기 위한 특화된 학습 목적 함수. 광범위한 실험은 우리의 이론적으로 기반을 둔 접근법이 이질적인 물리 체계에 걸쳐 우수한 일반화를 달성하면서, 기존 수치 기준선과 비교 가능한 엄격한 추론 효율성을 유지함을 보여준다.
우리는 스칼라 쌍곡 보존 법칙을 위한 그래프 기반 신경 연산자(neural operator) HypNO를 제안한다. HypNO는 유한체적(finite-volume) 셀의 시공간 그래프 위에서 직접 동작하며, 인접성 분해(adjacency-factored) 기반의 물리 정보 메시지 패싱을 통해 충격(shock) 근처에서 상류(upwinding)와 엔트로피 허용성(entropy admissibility)을 준수한다. 우리는 이 아키텍처를 Lighthill-Whitham-Richards(LWR) 및 Aw-Rascle-Zhang(ARZ) 교통 흐름 모델에 대해 벤치마크한다. 이 모델들은 동시에 전역 수송(global transport)과 충격 형성이 일어나기 때문에 연산자 학습(operator learning) 방법에 대한 스트레스 테스트 역할을 한다. HypNO는 다양한 초기 조건에 걸쳐 해 스냅샷(solution snapshot)을 정확하게 예측하면서, 해의 충격과 불연속성(discontinuity)을 포착한다.
우리는 $[0,T]$ 위의 $\mathbb{R}^{d}$-값 예측 가능 제곱 적분 가능 과정을 표현하고 계산하는 근본적 과제를 다루며, 이들은 $\mathcal{H}^2_T(\mathbb{R}^{d})$ 공간에 모여 있다. 이러한 과정은 연속 시간 확률적 제어, 강화학습, 수리금융의 핵심이다. Wiener 카오스 전개는 강력한 이론적 도구를 제공하지만, 기존 계산 방법은 큰 카오스 사전과 고차 반복 적분의 필요로 인해 제약을 받는다. 이러한 장애물을 극복하기 위해, 우리는 NeuralChaos를 제안한다. 이는 구동 브라우니안 운동의 유한한 평가만으로 $\mathcal{H}^2_T(\mathbb{R}^{d})$의 원소를 생성하면서 예측 가능성과 제곱 적분 가능성을 보존하는 신경 연산자 아키텍처이다. 우리는 NeuralChaos가 $\mathcal{H}^2_T(\mathbb{R}^{d})$에서 밀집함을 증명하고, 압축 가능(compressible) 및 Malliavin--Sobolev 정칙(regular) 과정에 대해 최상의 $N$항 카오슬렛(chaoslet) 근사율을 달성함을 보인다. 게다가, 비퇴화(non-degenerate) sub-Gaussian 표본 추출 하에서 $\mathcal{H}^2_T(\mathbb{R}^{d})$의 과정들에 대해 압축 가능성이 전형적(typical)임을 보인다. 반면, 우리는 유한차 Markovian 신경 SDE 모델이 이산화와 무관하게 $\mathcal{H}^2_T(\mathbb{R}^{d})$에서 희소(meagre)하고 Gaussian-null 부분집합을 구성함을 보이며, 반대로 압축 가능 과정은 일반적(generic)이다. 확률적 최적 제어 문제와 동적 헷지(dynamic hedging)에 대한 수치 실험은 우리 접근법의 실용적 효과를 부각한다. 우리 결과는 확률 분석과 수리금융에서 더 효율적이고 표현력 있는 모델링을 가능하게 한다.
다중 스케일 문제는 전통적 수치 방법으로 다루기가 특히 어려운 것으로 잘 알려져 있다. 미세 스케일 특성을 정확히 해상하기 위해서는 종종 지나치게 세밀한 이산화가 필요하기 때문이다. 이러한 문제는 재료 과학, 유체 역학, 기후 시스템, 화학 공정, 복잡 네트워크와 같은 응용에서 특히 두드러진다. 최근 신경 연산자(neural operator) 모델은 유망한 데이터 기반 대안을 제공하지만, 강하게 이질적이거나 진동성 계수가 있는 경우 충분한 정확도를 달성하는 데 자주 어려움을 겪는다. 본 연구에서는 거친 고대비 입력을 갖는 타원형 PDE의 해를 다룬다. 국소 직교 분해(Localized Orthogonal Decomposition, LOD) 방법은 이러한 문제를 위한 잘 정립된 수치적 접근이지만, 상당한 계산 비용이 따른다. 본 연구에서는 이러한 까다로운 다중 스케일 문제에 대해 널리 쓰이는 신경 연산자 아키텍처의 성능을 조사하고, 미세 스케일 구조를 해상하는 능력에서 핵심적 한계를 확인한다. 이러한 과제를 극복하기 위해 LOD-MSNO(LOD-Multiscale Neural Operator)를 제안한다. 이는 해를 문제에 적응된 기저 함수의 선형 결합으로 표현하는 LOD 방법의 표현을 바탕으로 LOD 방법을 강력한 다중 스케일 사전(prior)으로 활용하는 하이브리드 접근이며, 데이터 기반 연산자 학습을 통해 주요 계산 병목을 해소한다. 또한 제안한 계수 학습 프레임워크에 대한 이론적 오차 추정을 제공한다. 마지막으로, 제안 방법이 까다로운 다중 스케일 입력에 대해 정확도 측면에서 기존 신경 연산자 베이스라인을 능가할 잠재력을 보여 주며, 신경 연산자 모델의 계산 효율을 대체로 유지함을 입증한다.
우리는 인용 기반 영향력 경제 하에서 상호작용하는 가상 실험실 군집으로 구성된 AI 과학 커뮤니티를 기반으로 한 자율적 신경 연산자 발견의 에이전틱 접근법을 제안한다. 높은 인용을 받은 실험실은 자신의 연구 방향을 따르는 새 실험실을 설립하고, 성과가 저조한 실험실을 대체한다. 각 가상 실험실에는 세 가지 에이전트가 있다: 아키텍처를 제안하는 LLM 플래너, 이를 학습하고 측정하는 수치 작업자, 그리고 실험실 간 상호 심사에 참여하는 LLM 리뷰어. 모든 실험실은 DeepONet(branch-trunk), Fourier, 트랜스포머(어텐션), 웨이블릿, 잔차 컨볼루션 신경 연산자 빌딩 블록으로 구성된 공통 어휘를 공유한다. 우리는 신경 연산자 AI 과학 커뮤니티를 다섯 가지 문제, 즉 구간별 회귀(piecewise regression), 선형 이류 및 Burgers 1D PDE, Navier-Stokes 및 Darcy flow 2D PDE에서 평가하며, 각 문제에 대해 시뮬레이션을 세 번 반복했다. 결과는 신경 연산자 AI 과학 커뮤니티가 고정확도·저매개변수 신경 연산자 아키텍처를 발견할 수 있음을 보여준다. 기록 및 감사된 LLM 호출 9,623건 전부에서, 가상 실험실의 LLM 플래너가 기록된 결정의 99.8%에서 하이브리드화를 선택하고 일관되게 다중 계열 하이브리드를 반환한다는 것이 드러났다. 또한 각 실험실의 LLM 에이전트를 규칙 기반 대안으로 대체하는 어블레이션 연구를 수행했으며, 이는 여러 경우에서 과학 커뮤니티가 비하이브리드 단일 계열 스택으로 붕괴하게 하여, 다양성을 유지하려면 LLM 에이전시가 필요함을 보여준다. 결과는 신경 연산자에 대한 무공식 점심(no-free-lunch) 정리를 시사한다: 보편적 승자는 존재하지 않는다. 코드, 설정, 전체 LLM 대화 기록은 https://github.com/luislootx/AI-SC 에서 공개되었다.