주기적 영역에서 3차 비선형 Schrödinger 방정식에 대한 연산자 학습
Geometry-Conditioned Fourier Neural Operators for Cubic Nonlinear Schrodinger Dynamics on Periodic Domains
한국어 초록
종횡비가 변하는 2차원 평탄 토러스(flat torus)에서 3차 비선형 Schrödinger(NLS) 방정식을 고려한다. 이 형식화에서 종횡비 선택은 Fourier 공명 구조를 결정하므로, 유리수 기하와 무리수 기하가 서로 다른 고주파 캐스케이드 거동을 보일 수 있다. 우리는 3차 비초점(defocusing) NLS 방정식을 위한 기하학 조건부(geometry-conditioned) Fourier 신경 연산자(FNO)를 제안한다. 입력은 해의 실부와 허부, 그리고 종횡비 매개변수 \(ω^2\)로 구성된다. 모델은 1-스텝(one-step) 해 연산자(solution operator)를 근사하도록 학습(training)되며, Fourier 의사분광(pseudospectral) 방법을 사용해 무작위 위상(random-phase) 초기 데이터로부터 생성된 보지 못한(unseen) 궤적에서 평가(evaluation)된다. 수치 실험 결과, 학습된 연산자는 두 토러스 모두에서 주요 해 역학(dynamics)을 포착하고 두 기하의 서로 다른 Sobolev 노름(norm) 거동을 재현한다. 유리수 토러스에서는 더 강한 \(H^2\)-성장을, 무리수 토러스에서는 더 제한된 거동을 보이며, 이는 \cite{hrabski2021energy}의 결과와 일치한다. 우리는 보존 Fourier 모드, 활성화 함수(activation function), Fourier 층(layer) 깊이, 명시적 기하학 조건화의 역할을 조사하기 위해 ablation 연구를 수행한다. 결과는 $ω^2$를 포함하면 장시간 예측 정확도가 향상되며, 특히 유리수 기하에서 그 효과가 크고, 비선형 분산(dispersive) 편미분방정식(PDE)에서 스펙트럼 전달(spectral-transfer) 현상을 학습하기 위한 기하학 인지(geometry-aware) 신경 연산자의 사용을 뒷받침한다.
원문 초록
We consider the cubic nonlinear Schrödinger (NLS) equation on two-dimensional flat tori with varying aspect ratios. In this formulation, the choice of aspect ratio governs the Fourier resonance structure, so rational and irrational geometries can exhibit different high-frequency cascade behaviors. We present a geometry-conditioned Fourier neural operator (FNO) for the cubic defocusing NLS equation, where the input consists of the real and imaginary parts of the solution together with the aspect-ratio parameter \(ω^2\). The model is trained to approximate the one-step solution operator and is evaluated on unseen trajectories generated from random-phase initial data using Fourier pseudospectral method. Our numerical experiments show that the learned operator captures the main solution dynamics on both tori and reproduces the distinct Sobolev norm behavior of the two geometries, with stronger \(H^2\)-growth on the rational torus and more constrained behavior on the irrational torus, consistent with the findings of \cite{hrabski2021energy}. We perform ablation studies to examine the roles of retained Fourier modes, activation functions, Fourier-layer depth, and explicit geometry conditioning. The results indicate that including $ω^2$ improves long-time predictive accuracy, especially for the rational geometry, and supports the use of geometry-aware neural operators for learning spectral-transfer phenomena in nonlinear dispersive partial differential equations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27459v2제출 시각 미확인
- arXiv:2606.27459v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고차 푸리에 신경 연산자: 비선형 PDE를 위한 명시적 모드 혼합기
Higher-Order Fourier Neural Operator: Explicit Mode Mixer for Nonlinear PDEs
신경 연산자는 함수 공간 사이의 매핑을 학습하기 위한 심층 신경망을 제공한다. 그중 푸리에 신경 연산자(FNO)는 특히 효과적인데, 스펙트럴 합성곱은 저차원 푸리에 영역 표현에 의존하며 서로 다른 해상도의 입력을 처리할 수 있다. 이 설계는 푸리에 기저가 기저 연산자를 대각화하는 설정, 예를 들어 주기적 영역에서 선형 상수계수 PDE의 푸리에 모드가 독립적으로 진화하는 경우와 잘 맞는다. 그러나 비선형 PDE는 다항식 비선형성에 의해 지배되는 모드 간 구조적 상호작용을 나타내므로 추가적인 귀납적 바이어스로부터 이득을 볼 수 있다. 이 귀납적 바이어스를 포착하기 위해, 우리는 고차 스펙트럴 합성곱을 도입한다. 이는 FNO를 대각 변조에서 명시적 n-선형 모드 혼합으로 확장하는 스펙트럴 혼합기로, 비선형 PDE의 동역학과 정렬된다. 표준 벤치마크에서의 실험은 제안된 고차 FNO(HO-FNO)가 FNO 기반 아키텍처의 효율성을 유지하면서 다른 스펙트럴 신경 연산자들에 비해 일관되게 개선됨을 보여준다. HO-FNO는 또한 여러 데이터셋에서 최신 트랜스포머 및 상태 공간 모델과 동등하거나 더 우수한 성능을 내며, 다항식 외력을 갖는 푸아송 방정식과 같이 고도로 비선형인 영역에서 더 큰 이득을 보인다. 이러한 설정에서 단일 HO-FNO 층이 최대 16층의 FNO 모델보다 우수한 성능을 낸다. 재현성을 위해 코드를 https://github.com/AlexColagrande/HO-FNO 에서 오픈소스로 공개한다.
ELADO: 오퍼레이터 학습을 위한 타원형 PDE 평가 데이터셋
ELADO: Elliptic PDE Assessment Datasets for Operator Learning
본 논문은 ELADO(Elliptic PDE Assessment Datasets for Operator Learning)를 소개한다. ELADO는 타원형 PDE의 해(solution) 오퍼레이터를 학습할 때 신경 오퍼레이터(neural operator) 아키텍처의 실패 모드를 드러내고 정량화하기 위해 구축된 체계적인 벤치마크 모음이다. 기존 데이터셋의 벤치마크는 평균 케이스 성능에 초점을 맞추는 반면, ELADO 데이터셋은 타원형 PDE 문제에서 자연스럽게 발생하는 과제들을 부각하도록 구성되었다. 특히, 비일정(non-constant) 계수를 갖는 푸아송 방정식(Poisson's equation)과 Helmholtz 방정식을 중심으로 여러 데이터셋을 구축한다. 각각의 어려움의 원인을 분리하도록 설계된 데이터셋을 생성하기 위해 조절 가능한 데이터 생성 과정을 정의한다. 구체적으로, 이는 (1) 꼬리가 가벼운(light-tailed) 계수장(coefficient field) 분포에서 비롯되는 꼬리가 무거운(heavy-tailed) 해 분포, (2) 입력 데이터의 스펙트럴 분포 이동(spectral distribution shift), (3) 꼬리가 가벼운 계수장 분포에서 비롯되는 해의 주파수 영역에서의 꼬리가 무거운 분포, (4) 경험적 국소 Lipschitz 분석으로 정량화되는 학습된 오퍼레이터의 입력 민감도(input sensitivity), (5) 제어된 진폭 정규화 하에서 입력 신호 복잡도가 예측 정확도에 미치는 영향이다. 모든 데이터셋에 걸쳐 여러 신경 오퍼레이터 아키텍처를 평가한 결과, 꼬리가 무거운 타깃, 스펙트럴 이동, 입력 민감도가 각각 예측 정확도를 상당히 저하시킨다는 것을 보였다. 이러한 저하는 표준 데이터셋과 지표(예: 평균 상대 $L^2$ 오차)로는 가려질 수 있다.
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.