PyTorchKR Papers

최신 논문

총 19편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20467v2cs.LG

Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks

Numerical methods and neural networks have transformed our understanding of nonlinear partial differential equations (PDEs), yet discovering mathematical representations that explain their dynamics remains largely an expert task. We introduce Agentic Symbolic Search (ASYS), in which coding agents construct and refine explicit approximations from a known PDE and supplied mathematical knowledge. ASYS couples evolutionary search over differentiable symbolic programs with gradient-based fitting, using the governing equation to evaluate candidates and guide their revision. For a singular generalized Constantin-Lax-Majda profile, ASYS infers a missing decay term that sets how fast the field approaches its singular-time limit, and builds a basis that fits the profile to a median error of $3.90\times10^{-5}\%$. For Fujita blow-up, separating diffusion from reaction and deriving a local response lowers the supplied formula's error from 55.5% to 0.0879%. For Allen-Cahn interfaces, a 14-parameter construction yields a mode-coupling law confirmed by independent simulations. These studies show how agentic search develops mathematical starting points into accurate, analyzable approximations.

arXiv:2609.27554v1cs.LG

PhyMo: 다중모달 AI4Physics를 위한 물리장 모달리티

PhyMo: A Physical-Field Modality for Multimodal AI4Physics

다중모달 학습(Multimodal learning)은 물리 시스템을 예측할 때 이종의 관측치, 측정값, 도메인 지식에 대한 공동 해석이 요구되는 물리 특화 인공지능(AI4Physics)을 위한 강력한 패러다임으로 부상하고 있습니다. 그러나 기존 접근 방식은 일반적으로 물리량과 지배 방정식을 일반적인 수치 또는 텍스트 토큰(token)으로 표현하여, 이들의 시공간적 상호작용을 결정하는 물리적 제약 조건을 간과합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 물리장 모달리티(physical-field modality)를 도입하고 편미분 방정식(PDE) 관련 연산자를 통해 이종 측정값을 구성하는 물리 기반 다중모달 프레임워크인 PhyMo를 제안합니다. PhyMo는 3단계 학습(training) 절차를 따릅니다. 먼저 물리장 인코더를 PDE 잔여 오차 감독 하에 장 재구성을 통해 사전학습(pre-training)하고, 이후 그 표현을 공유 잠재 공간에서 시각적 임베딩(embedding)과 정렬(alignment)하며, 마지막으로 융합된 다중모달 표현을 해당 다운스트림 예측 헤드에서 처리합니다. 다양한 물리 환경에 걸친 5개의 데이터셋(dataset)에 대한 실험에서 PhyMo는 각 데이터셋의 가장 강력한 기준선(baseline) 대비 최고 성능(state-of-the-art)을 달성하여, AI4Physics의 다중모달 표현 학습에서 PhyMo의 우수성을 입증합니다.

arXiv:2607.22215v1cs.LG

제한된 데이터로 다양한 기하학에 걸친 효율적 물리 정보 기반 학습을 위한 잠재 PDE 매핑

Latent PDE mapping for efficient physics-informed learning across geometries with limited data

본 연구에서는 희소 학습 데이터로 효율적인 기하학적 일반화를 가능하게 하도록 설계된, 폭넓게 적용 가능한 물리 정보 기반 학습 기법인 잠재 PDE 매핑(latent PDE mapping)을 제안한다. 잠재 PDE 매핑은 변형 그래디언트(deformation gradient)를 통해 형상별 PDE 잔차와 경계 조건을 미리 정의된 잠재 기하학으로 당겨(pull back)옴으로써, 기존 물리 정보 기반 기계학습 공식화에서 누락된 기하학적으로 일관된 형상 그래디언트의 자동 계산을 가능하게 한다. 우리는 물리 정보 기반 신경망(physics-informed neural networks)과 물리 정보 기반 딥 오퍼레이터 네트워크(physics-informed deep operator networks)를 모두 사용하여 심장 전기생리학의 이방성 Aliev-Panfilov PDE를 풀 때 잠재 PDE 매핑의 유용성을 입증한다. Aliev-Panfilov PDE는 도전적인 사례로, 전통적인 수치 솔버로 포착하기 비용이 큰 급격한 그래디언트를 갖는 비선형 시간 의존 PDE 벤치마크이다. 제한된 데이터 체제를 나타내기 위해, 우리는 2차원 및 3차원 공간에서 매개변수화된 분포로부터 추출한 단 15개의 기하학적 샘플만을 사용하여 네트워크를 학습한다. 아핀 및 전단 변형으로 매개변수화된 기하학에서는 완만한 개선만 나타나지만, 잠재 PDE 매핑은 특정 기하학군에서 유의미한 이점을 보이며 평균 상대 L2 오차를 약 4~6배 감소시킨다. 또한 결과는 네트워크 학습 중 잠재 PDE 매핑 적용의 계산 비용이 적었고, 추론 시에는 무시할 수 있을 정도였음을 보여준다. 종합하면, 본 연구는 잠재 PDE 매핑이 제한된 수의 학습 형상으로부터 일반화 가능한 물리 정보 기반 기계학습 모델의 구축을 어떻게 촉진하는지 강조한다.

arXiv:2606.27459v2cs.LG

주기적 영역에서 3차 비선형 Schrödinger 방정식에 대한 연산자 학습

Geometry-Conditioned Fourier Neural Operators for Cubic Nonlinear Schrodinger Dynamics on Periodic Domains

종횡비가 변하는 2차원 평탄 토러스(flat torus)에서 3차 비선형 Schrödinger(NLS) 방정식을 고려한다. 이 형식화에서 종횡비 선택은 Fourier 공명 구조를 결정하므로, 유리수 기하와 무리수 기하가 서로 다른 고주파 캐스케이드 거동을 보일 수 있다. 우리는 3차 비초점(defocusing) NLS 방정식을 위한 기하학 조건부(geometry-conditioned) Fourier 신경 연산자(FNO)를 제안한다. 입력은 해의 실부와 허부, 그리고 종횡비 매개변수 \(ω^2\)로 구성된다. 모델은 1-스텝(one-step) 해 연산자(solution operator)를 근사하도록 학습(training)되며, Fourier 의사분광(pseudospectral) 방법을 사용해 무작위 위상(random-phase) 초기 데이터로부터 생성된 보지 못한(unseen) 궤적에서 평가(evaluation)된다. 수치 실험 결과, 학습된 연산자는 두 토러스 모두에서 주요 해 역학(dynamics)을 포착하고 두 기하의 서로 다른 Sobolev 노름(norm) 거동을 재현한다. 유리수 토러스에서는 더 강한 \(H^2\)-성장을, 무리수 토러스에서는 더 제한된 거동을 보이며, 이는 \cite{hrabski2021energy}의 결과와 일치한다. 우리는 보존 Fourier 모드, 활성화 함수(activation function), Fourier 층(layer) 깊이, 명시적 기하학 조건화의 역할을 조사하기 위해 ablation 연구를 수행한다. 결과는 $ω^2$를 포함하면 장시간 예측 정확도가 향상되며, 특히 유리수 기하에서 그 효과가 크고, 비선형 분산(dispersive) 편미분방정식(PDE)에서 스펙트럼 전달(spectral-transfer) 현상을 학습하기 위한 기하학 인지(geometry-aware) 신경 연산자의 사용을 뒷받침한다.

arXiv:2607.21932v1cs.CE

매개변수 및 경계값 문제를 위한 일반화 신경 연산자

Generalized Neural Operator for Parametric and Boundary-Value Problems

편미분방정식(PDE)을 위한 기초 신경 시뮬레이터를 개발하려면 다양한 물리적 매개변수와 경계 조건에 걸친 강건한 일반화가 필요하다. 그러나 현재의 심층 학습 접근법은 대부분 조건 비의존적 배포와 물리적 충실도 사이의 구조적 트레이드오프에 직면한다. 순수 데이터 기반 연산자는 기저 물리를 암묵적으로 추론하므로, 변화하는 영역에서 물리적으로 유효한 해를 보장하는 데 필요한 명시적 제약이 부족하여 학습 문제를 부적정(ill-posed)하게 만든다. 한편, 물리 정보 신경망(PINN)은 엄격한 물리적 제약을 강제하지만, 비용이 큰 인스턴스별 최적화가 필요하다. 또한 등장하는 기초 연산자의 대규모화는 추론 속도를 심각하게 저하시켜, 전통적인 수치 솔버와 계산적으로 경쟁력을 잃게 만든다. 조건 비의존적 배포, 물리적 엄밀성, 추론 효율성 사이의 이 병목을 해결하기 위해, 우리는 Generalized Neural Operator를 제안한다. 신경 연산자 내에서 적정성(well-posedness)에 대한 고전적 조건을 형식화함으로써, 우리 프레임워크는 PDE 매개변수와 경계 조건에 명시적으로 조건화하는 것의 이론적 이점을 보여준다. 계산 속도를 희생하지 않고 이 통합을 구현하기 위해, 우리는 세 가지 새로운 아키텍처 구성 요소를 도입한다: 효율적인 매개변수 일반화를 위한 매개변수 게이트 커널 혼합(mixture of kernels), 임의의 경계 제약을 통합된 잠재 Dirichlet 표현으로 투영하는 일반화된 경계 전달 연산자, 그리고 안정성을 보장하기 위한 특화된 학습 목적 함수. 광범위한 실험은 우리의 이론적으로 기반을 둔 접근법이 이질적인 물리 체계에 걸쳐 우수한 일반화를 달성하면서, 기존 수치 기준선과 비교 가능한 엄격한 추론 효율성을 유지함을 보여준다.

arXiv:2601.21284v2cs.LG

PILD: 확산 기반 물리 정보 학습

PILD: Physics-Informed Learning via Diffusion

확산 모델은 복잡한 데이터 분포를 모델링하는 강력한 생성 도구로 부상했지만, 순수하게 데이터 기반인 특성 때문에 물리 법칙을 반드시 준수해야 하는 공학 및 과학 문제에서의 적용 가능성이 제한된다. 본 논문은 확산 모델링과 물리적 제약을 라플라스 분포에서 샘플링된 가상 잔차 관측을 갖는 확률적 잔차 공식화를 통해 통합하는 프레임워크인 Physics-Informed Learning via Diffusion(PILD)를 제안한다. 노이즈가 있는 확산 상태에서 이 공식화를 실용적으로 만들기 위해, Jensen-gap-aware 적응형 잔차 스케일을 도입하며, 이는 잔차 가능도 주변화로 유발되는 바이어스를 줄인다. 또한 조건부 과제를 위해 물리 조건부 정렬(alignment) 메커니즘을 개발하여, 디노이징(denoising) 과정 동안 중간 잠재 표현(latent representation)이 관측 조건과 일관되게 유지되도록 한다. 제안된 프레임워크는 간결하고 모듈식이며, 상미분방정식(ODE), 편미분방정식(PDE), 대수 방정식 또는 부등식 제약으로 규정되는 문제에 광범위하게 적용 가능하다. 공학 및 과학 과제에 걸친 광범위한 실험에서 PILD가 대표적인 물리 정보 기반 및 확산 기반 베이스라인 대비 물리적 충실도(physical fidelity)와 예측 정확도를 향상시킴을 보여준다.

arXiv:2603.12676v5cs.LG

매개변수화 PDE 풀이를 위한 분리 잠재 역학 매니폴드 융합

Disentangled Latent Dynamics Manifold Fusion for Solving Parameterized PDEs

서로 다른 PDE 매개변수에 걸쳐 신경 대리 모델을 일반화하는 것은 PDE 계수의 변화가 종종 학습을 더 어렵게 하고 최적화를 덜 안정적으로 만들기 때문에 여전히 어렵다. 모델이 학습 시간 범위를 넘어서도 예측해야 할 때 문제는 더욱 심각해진다. 기존 방법은 보통 매개변수 일반화와 시간 외삽을 동시에 처리할 수 없다. 표준 매개변수화 모델은 시간을 단순히 또 다른 입력으로 취급하므로 고유 역학을 포착하지 못하고, 최근의 연속 시간 잠재 방법은 종종 각 인스턴스마다 비용이 큰 테스트 시점 auto-decoding에 의존하여 비효율적이며 매개변수화된 해 공간 전반에 걸친 연속성을 깨뜨릴 수 있다. 이를 해결하기 위해, 공간, 시간, 매개변수를 명시적으로 분리하는 물리 정보 기반 프레임워크인 Disentangled Latent Dynamics Manifold Fusion(DLDMF)을 제안한다. 불안정한 auto-decoding 대신, DLDMF는 순전파 신경망을 통해 PDE 매개변수를 연속 잠재 임베딩으로 직접 매핑한다. 이 임베딩은 매개변수 조건 Neural ODE에 의해 진화가 지배되는 잠재 상태를 초기화하고 조건화한다. 또한 공간 좌표, 매개변수 임베딩, 시간에 따라 진화하는 잠재 상태를 결합하여 해당 시공간 해를 재구성하는 공유 디코더를 사용하는 동적 매니폴드 융합 메커니즘을 도입한다. 예측을 정적 좌표 적합이 아닌 잠재 동역학 진화로 모델링함으로써, DLDMF는 매개변수 변화와 시간적 진화 사이의 간섭을 줄이면서 매끄럽고 일관된 해 매니폴드를 유지한다. 그 결과, 보지 못한 매개변수 설정과 장기 시간 외삽에서도 잘 수행한다. 여러 벤치마크 문제에 대한 실험은 DLDMF가 정확도, 매개변수 일반화, 외삽 견고성에서 최신 베이스라인을 일관되게 능가함을 보여준다.

arXiv:2607.12122v1cs.LG

자동 신경 연산자 발견을 위한 에이전틱 AI 과학 커뮤니티

An Agentic AI Scientific Community for Automated Neural Operator Discovery

우리는 인용 기반 영향력 경제 하에서 상호작용하는 가상 실험실 군집으로 구성된 AI 과학 커뮤니티를 기반으로 한 자율적 신경 연산자 발견의 에이전틱 접근법을 제안한다. 높은 인용을 받은 실험실은 자신의 연구 방향을 따르는 새 실험실을 설립하고, 성과가 저조한 실험실을 대체한다. 각 가상 실험실에는 세 가지 에이전트가 있다: 아키텍처를 제안하는 LLM 플래너, 이를 학습하고 측정하는 수치 작업자, 그리고 실험실 간 상호 심사에 참여하는 LLM 리뷰어. 모든 실험실은 DeepONet(branch-trunk), Fourier, 트랜스포머(어텐션), 웨이블릿, 잔차 컨볼루션 신경 연산자 빌딩 블록으로 구성된 공통 어휘를 공유한다. 우리는 신경 연산자 AI 과학 커뮤니티를 다섯 가지 문제, 즉 구간별 회귀(piecewise regression), 선형 이류 및 Burgers 1D PDE, Navier-Stokes 및 Darcy flow 2D PDE에서 평가하며, 각 문제에 대해 시뮬레이션을 세 번 반복했다. 결과는 신경 연산자 AI 과학 커뮤니티가 고정확도·저매개변수 신경 연산자 아키텍처를 발견할 수 있음을 보여준다. 기록 및 감사된 LLM 호출 9,623건 전부에서, 가상 실험실의 LLM 플래너가 기록된 결정의 99.8%에서 하이브리드화를 선택하고 일관되게 다중 계열 하이브리드를 반환한다는 것이 드러났다. 또한 각 실험실의 LLM 에이전트를 규칙 기반 대안으로 대체하는 어블레이션 연구를 수행했으며, 이는 여러 경우에서 과학 커뮤니티가 비하이브리드 단일 계열 스택으로 붕괴하게 하여, 다양성을 유지하려면 LLM 에이전시가 필요함을 보여준다. 결과는 신경 연산자에 대한 무공식 점심(no-free-lunch) 정리를 시사한다: 보편적 승자는 존재하지 않는다. 코드, 설정, 전체 LLM 대화 기록은 https://github.com/luislootx/AI-SC 에서 공개되었다.

arXiv:2607.07718v1cs.LG

LLT: PDE 연산자 학습을 위한 로컬 선형 트랜스포머

LLT: Local Linear Transformer for PDE Operator Learning

PDE 연산자 학습에서 표준 어텐션의 이차 복잡도와 로컬 구조 부재 문제를 해결하기 위해, 선형 전역 어텐션과 로컬 공간 혼합을 결합한 LLT(Local Linear Transformer)를 제안한다. 탄성, 소성, 에어포일 등 다양한 PDE 벤치마크에서 경쟁력 있는 정확도를 보이면서 Transolver 대비 학습 속도를 1.8~2.5배 향상시켰으며, 32,186개의 비정형 메시 포인트를 가진 3D 자동차 공기역학 데이터셋에도 성공적으로 확장 적용되었다.

arXiv:2510.25731v2cs.LG

LieSolver: Lie 대칭을 통한 IBVP의 PDE 제약 학습

LieSolver: PDE-Constrained Learning for IBVPs via Lie Symmetries

Lie 대칭(Lie symmetry)을 모델 구조에 직접 내재화하여 편미분 방정식(PDE)을 구조적으로 정확히 만족하도록 초기-경계값 문제(IBVP)를 푸는 LieSolver를 제안하며, 이를 통해 PDE 손실 항 없이 경계 조건만으로 최적화하여 물리 정보 신경망(PINNs) 대비 속도와 정확도 모두에서 우수한 성능을 달성한다.

arXiv:2606.28122v1cs.CE

고차 푸리에 신경 연산자: 비선형 PDE를 위한 명시적 모드 혼합기

Higher-Order Fourier Neural Operator: Explicit Mode Mixer for Nonlinear PDEs

신경 연산자는 함수 공간 사이의 매핑을 학습하기 위한 심층 신경망을 제공한다. 그중 푸리에 신경 연산자(FNO)는 특히 효과적인데, 스펙트럴 합성곱은 저차원 푸리에 영역 표현에 의존하며 서로 다른 해상도의 입력을 처리할 수 있다. 이 설계는 푸리에 기저가 기저 연산자를 대각화하는 설정, 예를 들어 주기적 영역에서 선형 상수계수 PDE의 푸리에 모드가 독립적으로 진화하는 경우와 잘 맞는다. 그러나 비선형 PDE는 다항식 비선형성에 의해 지배되는 모드 간 구조적 상호작용을 나타내므로 추가적인 귀납적 바이어스로부터 이득을 볼 수 있다. 이 귀납적 바이어스를 포착하기 위해, 우리는 고차 스펙트럴 합성곱을 도입한다. 이는 FNO를 대각 변조에서 명시적 n-선형 모드 혼합으로 확장하는 스펙트럴 혼합기로, 비선형 PDE의 동역학과 정렬된다. 표준 벤치마크에서의 실험은 제안된 고차 FNO(HO-FNO)가 FNO 기반 아키텍처의 효율성을 유지하면서 다른 스펙트럴 신경 연산자들에 비해 일관되게 개선됨을 보여준다. HO-FNO는 또한 여러 데이터셋에서 최신 트랜스포머 및 상태 공간 모델과 동등하거나 더 우수한 성능을 내며, 다항식 외력을 갖는 푸아송 방정식과 같이 고도로 비선형인 영역에서 더 큰 이득을 보인다. 이러한 설정에서 단일 HO-FNO 층이 최대 16층의 FNO 모델보다 우수한 성능을 낸다. 재현성을 위해 코드를 https://github.com/AlexColagrande/HO-FNO 에서 오픈소스로 공개한다.

arXiv:2606.24999v1cs.LG

A Zeroth-Order Deep Learning Method for Fully Nonlinear Parabolic Partial Differential Equations with Unknown Coefficients

계수를 모르는 고차원 완전 비선형 포물선형 편미분방정식(PDE)을 시뮬레이터 궤적과 점별 함수 평가만으로 푸는 0차 미분(ZOD) 기반 딥러닝 방법을 제안하며, 교란 Monte Carlo 궤적에서 유도한 ZOD로 기울기와 Hessian 타깃을 만들어 표현 후 학습(representing-then-learning) 방식으로 해와 1·2차 미분을 함께 학습한다. 자동 미분이나 연산자 정보 없이도 적용 가능하며, Sobolev 공간에서 비점근 오차와 표본 복잡도를 이론적으로 분석하고 중·고차원 수치 실험에서 경쟁력 있는 성능을 보였다.

arXiv:2606.20771v1cs.LG

ELADO: 오퍼레이터 학습을 위한 타원형 PDE 평가 데이터셋

ELADO: Elliptic PDE Assessment Datasets for Operator Learning

본 논문은 ELADO(Elliptic PDE Assessment Datasets for Operator Learning)를 소개한다. ELADO는 타원형 PDE의 해(solution) 오퍼레이터를 학습할 때 신경 오퍼레이터(neural operator) 아키텍처의 실패 모드를 드러내고 정량화하기 위해 구축된 체계적인 벤치마크 모음이다. 기존 데이터셋의 벤치마크는 평균 케이스 성능에 초점을 맞추는 반면, ELADO 데이터셋은 타원형 PDE 문제에서 자연스럽게 발생하는 과제들을 부각하도록 구성되었다. 특히, 비일정(non-constant) 계수를 갖는 푸아송 방정식(Poisson's equation)과 Helmholtz 방정식을 중심으로 여러 데이터셋을 구축한다. 각각의 어려움의 원인을 분리하도록 설계된 데이터셋을 생성하기 위해 조절 가능한 데이터 생성 과정을 정의한다. 구체적으로, 이는 (1) 꼬리가 가벼운(light-tailed) 계수장(coefficient field) 분포에서 비롯되는 꼬리가 무거운(heavy-tailed) 해 분포, (2) 입력 데이터의 스펙트럴 분포 이동(spectral distribution shift), (3) 꼬리가 가벼운 계수장 분포에서 비롯되는 해의 주파수 영역에서의 꼬리가 무거운 분포, (4) 경험적 국소 Lipschitz 분석으로 정량화되는 학습된 오퍼레이터의 입력 민감도(input sensitivity), (5) 제어된 진폭 정규화 하에서 입력 신호 복잡도가 예측 정확도에 미치는 영향이다. 모든 데이터셋에 걸쳐 여러 신경 오퍼레이터 아키텍처를 평가한 결과, 꼬리가 무거운 타깃, 스펙트럴 이동, 입력 민감도가 각각 예측 정확도를 상당히 저하시킨다는 것을 보였다. 이러한 저하는 표준 데이터셋과 지표(예: 평균 상대 $L^2$ 오차)로는 가려질 수 있다.

arXiv:2606.19895v1math.NA

PDE를 풀기 위한 고속 직접 솔버 기반 신경망

A fast direct solver based neural network for solving PDEs

대규모 $N$-체 문제에서 발생하는 행렬은 계층적 행렬(hierarchical matrices)을 사용하여 효율적으로 표현할 수 있으며, 이의 핵심 아이디어는 허용 가능한 비대각 부분 행렬들이 행렬 분할의 계층 구조에 걸쳐 저계수 행렬(low-rank matrices)로 잘 근사될 수 있다는 점입니다. HODLR(Hierarchical Off-Diagonal Low-Rank) 행렬은 계층적 행렬의 하위 클래스로, 재귀적 이진 분할의 모든 수준에서 모든 비대각 부분 행렬이 저계수인 특징을 가집니다. 본 논문에서는 Ambikasaran과 Darve(2013)가 개발한 HODLR 행렬용 고속 직접 솔버를 기반으로 HODLR 행렬의 역연산을 학습하는 신경망(neural network)을 제안합니다. 또한 일부 선형 레이어를 심층 서브 네트워크로 대체하여 편미분 방정식(PDEs)과 관련된 비선형 솔루션 연산자를 학습하도록 아키텍처를 확장했습니다. 제안된 아키텍처의 성능을 입증하기 위해 (i) 제2종 프레드홀름 적분 방정식과 같은 선형 문제 해결, (ii) 비선형 슈뢰딩거 방정식, 버거스 방정식, 정상 상태 다르시 유동 방정식과 같은 PDE 해결, (iii) 다양한 매개변수 값에 대한 일반화 연구, (iv) 제안된 네트워크의 추론 시간과 고전 수치 솔버의 실행 시간 비교, (v) 기존 신경 연산자 학습 네트워크들과의 비교를 포함하는 포괄적인 실험 세트를 수행했습니다.

arXiv:2606.20156v1cs.AI

일반화된 PINNs를 위한 비모듈성 갈등 회피 학습

Modularity-Free Conflict-Averse Training for Generalized PINNs

물리 정보 신경망(PINNs)은 물리 법칙을 미분 가능한 목적 함수에 임베딩하여 편미분 방정식(PDEs)을 해결하는 강력한 프레임워크가 되었습니다. 발전에도 불구하고 PINNs 학습은 여전히 취약합니다: 최근의 갈등 회피 최적화 기법은 잔차 손실과 경계 손실 사이의 그래디언트 간섭을 완화하지만, 우리는 모델 용량이 증가함에 따라 그 효과가 저하됨을 보여줍니다. 본 논문에서 우리는 용량 유발 실패 모드를 식별합니다. 이 모드에서 과매개변수화된 네트워크는 기능적 모듈성을 겪으며, 목표 간 상호작용을 억제하고 파레토 정상점으로의 수렴을 방해하는 작업 전용 모듈로 스스로 분할됩니다. 이 문제를 해결하기 위해 우리는 구조적 최적화를 갈등 회피 학습에 통합하는 새로운 프레임워크인 모듈러-희소성 동기화(ModSync)를 제안합니다. ModSync는 상호작용 촉진 경로를 유지하면서 작업 전용 연결에 페널티를 부여합니다. 다양한 PDE 벤치마크에 걸친 광범위한 실험을 통해 ModSync가 용량 기반 실패를 일관되게 방지하고, 강력한 목표 간 결합을 유지하며 최첨단 정확도를 달성함을 입증합니다. 코드는 \url{https://github.com/heejokong/ModSync}에서 확인할 수 있습니다.

arXiv:2606.17513v1cs.LG

연산자 학습에서의 기하학적 인식 사후 불확실성 정량화

Geometry-Aware Post-Hoc Uncertainty Quantification in Operator Learning

신경망 연산자는 편미분 방정식(PDE)을 위한 빠른 대체 모델을 제공하지만, 결정론적 예측으로 인해 불확실성 정량화(UQ)가 필요한 작업, 특히 기하학적 변동성이 존재하는 상황에서의 사용이 제한됩니다. 기존 접근법은 주로 네트워크 매개변수에서 불확실성을 모델링하여, 연산자 자체가 학습한 기하학적 인식 표현을 대부분 간과합니다. 본 논문에서는 REEF-GP(Residual on Embedded Features Gaussian Process)를 제안합니다. 이는 내부 임베딩이 커널 특징 공간을 정의하는 고정된 신경망 연산자의 잔차에 가우스 프로세스(GP)를 적합시키는 사후 불확실성 정량화 프레임워크입니다. 별도의 특징 맵을 학습하는 대신, REEF-GP는 연산자의 내재적 좌표-특징 표현을 활용하여 기하학적 인식 불확실성을 구성합니다. 비정형 도메인에서 안정성과 확장성을 보장하기 위해, REEF-GP는 스펙트럼 정규화 투영, 이분산성 기하학적 인식 노이즈, 그리고 제한적인 저순위 근사를 피하는 효율적인 부분집합 기반 학습을 통합합니다. 다양한 기하학적 구조를 가진 5개의 편미분 방정식 벤치마크에서 REEF-GP는 예측 정확도를 유지하면서도, 딥 앙상블과 경쟁력 있는 보정된 불확실성 추정치를 훨씬 적은 비용으로 달성했습니다. 제안하는 방법은 기하학적 분포 변화 하에서도 견고성을 유지하며, 불확실성은 물리적으로 의미 있는 영역(예: 충격파 전선)에 집중됩니다. 실험 결과는 신경망 연산자에 대한 정확하고 확장 가능한 사후 불확실성 정량화가 학습된 특징 공간 내에서 직접 달성될 수 있음을 보여주며, 이는 매개변수 중심 접근법에 대한 실용적인 대안을 제공합니다.

arXiv:2606.17419v1cs.LG

소볼레프 공간에서의 다중 입력 신경망 연산자 학습에 대한 일반화 보장

Generalization Guarantees for Multi-Input Neural Operator Learning in Sobolev Spaces

본 연구는 다중 입력 신경망 연산자(neural operator)에 대한 근사 및 일반화 오차 추정치를 제시하며, 출력 오차는 소볼레프 놈(Sobolev norms)으로 측정됩니다. 단일 입력 함수를 사용하는 표준 연산자 학습 설정과 대조적으로, 본 프레임워크는 서로 다른 영역(domain)에 정의되고 차원 및 소볼레프 정칙성(regularity)이 상이할 수 있는 다중 입력 함수를 지원합니다. 도출된 비율은 각 입력 공간이 최종 오차 한계에 미치는 기여도를 명시적으로 정량화합니다. 특히 균형 상태(balanced regime)에서 근사 및 일반화 비율은 입력 차원, 정칙성, 소볼레프 차수 간의 상호작용에 의해 결정되며, 모델 복잡도에 대한 의존성은 \(\log\log/\log\)-유형의 구조를 유지합니다. 본 분석은 소볼레프 학습(Sobolev training)을 포함한 다중 입력 연산자 학습을 위한 일반적인 이론적 프레임워크를 제공하며, 편미분 방정식(PDE) 및 과학적 계산에서 발생하는 연산자 학습 문제에 적용할 수 있습니다.

arXiv:2606.13443v1cs.LG

얼마나 많은 메모리가 필요한가? 신경 연산자를 위한 적응형 메모리 게이트

How Much Memory Do We Need? Adaptive Memory Gate for Neural Operators

고정된 메모리 가중치 사용으로 인한 적응력 제한 문제를 해결하기 위해 학습 가능한 게이트를 통해 메모리 가중치를 동적으로 조절하는 AMGFNO를 제안한다. 해당 방법은 저해상도 환경에서 기존 대비 55-79%의 nRMSE 감소를 달성하며, 해상도가 증가함에 따라 게이트 값이 자동으로 감소됨을 확인했다.

arXiv:2606.12318v1cs.LG

연산자의 연쇄를 통한 인컨텍스트 연산자 학습 활용

Harness In-Context Operator Learning with Chain of Operators

신경망 연산자(Neural Operator)는 함수 공간 간의 매핑을 근사화하지만, 다른 연산자에 대해 일반화가 잘 이루어지지 않는 경우가 많으며 일반적으로 미세조정이나 재학습이 필요합니다. 인컨텍스트 연산자 네트워크(In-Context Operator Networks, ICON)는 모델에 수치적 컨텍스트를 프롬프트로 제공하여 이 문제를 해결합니다. 이를 통해 모델은 프롬프트에서 특정 연산자를 학습하고 미세조정 없이 다른 연산자에 적응할 수 있습니다. 그러나 ICON은 여전히 분포 외(Out-of-Distribution, OOD) 연산자 작업으로 일반화하지 못할 수 있습니다. 대규모 언어 모델(LLM)의 활용(harness) 기술 성공에 영감을 받아, 우리는 파라미터를 업데이트하지 않고 동결된 ICON을 OOD 연산자 작업에 활용하는 프레임워크인 연산자의 연쇄(Chain of Operators, CHOP)를 소개합니다. 구체적으로, CHOP는 명시적인 기본 변환과 동결된 ICON으로 구성된 연산자의 연쇄를 구성합니다. 스칼라 보존 법칙과 평균장 제어 문제에 대한 실험 결과, CHOP는 직접 ICON 평가에 비해 상대적 추론 오차를 줄이는 것으로 나타났으며, 연쇄 내의 각 연산자는 해석 가능하고 닫힌 형식(closed form)을 유지합니다. 하나의 편미분 방정식(PDE) 계열에 대해 구성된 연쇄는 다른 계열로도 추가로 일반화되며, 이는 활용 시스템 전반에 걸쳐 공유된 메커니즘을 시사합니다.