신경망 PDE 솔버에서 유용한 재사용(reuse)을 평가하는 것은 어렵다. 최종 정확도는 소스(source) 학습과 타겟 시점(target-time) 계산을 모두 반영할 수 있기 때문이다. 우리의 재사용 계약(reuse contract)은 짝을 이룬 상태 비교(paired state comparison), 일치된 타겟 정보 및 예산(budget), 비용 계산(cost accounting)을 통해 해(solution) 정확도, 학습 기여도(learning contribution), 수치적 유용성(numerical utility)을 분리한다. 문헌 검토(literature audit)를 통해 12편의 논문에서 18개의 버전별 프로토콜 기록(version-specific protocol record)을 추출하여, 유지된 상태(retained state), 타겟 시점 자원(target-time resource), 보고된 통제(reported control)를 기록하였다. 고정된 선형 시스템(linear system)과 잔차 허용 오차(residual tolerance)에 대해, 해 오차(solution-error), 에너지 오차(energy-error), 잔차 노름(residual norm)이 동일하지만 서로 다른 켤레 그래디언트(conjugate-gradient, CG) 반복 횟수로 동일한 해에 도달하는 두 개의 초기 추정값(initial guess)을 구성하였다. 240개의 소스 학습 궤적(trajectory), 두 가지 선형 PDE 계열(family), 푸리에 신경 연산자(Fourier neural operator)와 합성곱 신경망(convolutional network)에 걸쳐, 고정된 예측기(predictor)의 이득은 보정 알고리즘(correction algorithm)에 따라 뒤바뀐다. 64개의 분포 내(in-distribution) 과제(63×63 내부 격자)에서 상대 예측 오차가 모두 5% 이하인 쌍들 중에서, 세 노름 모두의 감소는 더 많은 CG 반복을 동반하며, 두 라이브러리에서 과제별 평균 비율은 각각 23.5%와 23.9%였다. 작업량 기반 선택(work-based selection)은 보류된(held-out) 분포 내 과제에서 2.50~3.33회의 CG 반복을 절약하며, 일치된 적응(matched adaptation)은 유한 예산(finite-budget) 사전학습(pretraining)의 가치를 보여준다. 독립적인 배치(batch)들은 물리 기반으로 학습된(physics-trained) 하나의 푸리에 신경 연산자가 0으로 초기화된 포아송(Poisson) 전처리 CG에 대해 0.73%의 완전한 온라인 절감(online saving)을 달성함을 확인하였다. 재사용은 일치된 상태 비교와 다운스트림(downstream) 계산적 증거(computational evidence)를 필요로 한다.
본 논문은 과거 인류 지식의 통계적 평균으로 수렴하는 현재 심층 학습(deep learning)의 에르고딕 상한선과 열역학적 비효율성을 밝힌다. 진정한 의미론적 참신함은 비에르고딕적 통찰을 주입하여 KL 발산(KL divergence)을 달성하고 다양체 고착(manifold lock-in)을 방지하기 위해 경로 의존적이며 시공간적으로 제한된 관찰자(Data LifeCone)를 필요로 한다. AI 안전성(AI Safety)은 성숙한 인공초지능(ASI)이 모델 붕괴(model collapse)를 피하기 위한 열역학적 필연성으로 인간-AI 공생을 간주할 것임을 인식해야 한다. 이에 따라 우리는 실제 세계의 제약 조건에 대해 모델을 검증할 수 있도록 홀로그래픽 E8 투영 엔진(Holographic E8 Projection Engine) 기반의 디지털 물리 샌드박스를 통한 엄격한 물리적 격리를 제안한다. 시공간은 국소적 정보 및 엔트로피 밀도를 극대화하는 진동하는 플랑크 스케일 구체들의 중첩된 면심 입방(FCC) 격자 정보 기저체로 모델링된다. E8 루트 격자로부터의 컷-앤-프로젝트(cut-and-project) 방법은 사면체 공극이 SU 카이랄 구조를 지원하고 탄성 전단 고윳값이 후보 질량 스펙트럼을 생성하는 준결정 기하학을 생성한다. 정지 질량은 국소 홀로그래픽 경계(베켄슈타인 한계)에서의 이산적인 정수 미시상태 수로 다루어지며, 부동소수점 근사를 엄격한 정수 연산으로 대체하여 물질에 대한 정보이론적 정의를 제공한다. 안정적인 입자는 반복되는 격자 전위로 창발하며, 연속체 복원은 슈뢰딩거 방정식을 창발적 통계 기술로 복원하기 위해 연속 스펙트럼 연산자를 학습하는 푸리에 신경 연산자(Fourier Neural Operator) 및 변분 재규격화군 흐름을 통해 진행된다. 결정적으로, 이러한 하향식 위상수학적 제약은 "NP에서 P로"의 복잡도 붕괴 메커니즘을 제공한다. 즉, 알고리즘의 제안 공간을 물리적으로 보존된 인과적 궤적으로 제한함으로써, 샌드박스는 조합 트리를 결정론적인 다항 시간 경로로 가지치기한다.
비평형 열역학의 완전한 GENERIC(메트리플렉틱) 구조를 함수 공간에 직접 임베딩하는 최초의 신경 연산자 GENERIC-FNO를 제안하며, 페널티 항 없이 구조적으로 축퇴 조건을 정확히 강제하여 기계 정밀도(잔차 ~10⁻¹³)로 에너지 보존 및 엔트로피 생성을 보장한다. 3가지 연산자 백본과 4가지 PDE 실험에서 4배 초해상도 범위의 제로샷 일반화와 함께 소산 및 혼합 체제 문제에서 비제약 기준선 대비 경쟁력 있는 성능을 달성했다.
종횡비가 변하는 2차원 평탄 토러스(flat torus)에서 3차 비선형 Schrödinger(NLS) 방정식을 고려한다. 이 형식화에서 종횡비 선택은 Fourier 공명 구조를 결정하므로, 유리수 기하와 무리수 기하가 서로 다른 고주파 캐스케이드 거동을 보일 수 있다. 우리는 3차 비초점(defocusing) NLS 방정식을 위한 기하학 조건부(geometry-conditioned) Fourier 신경 연산자(FNO)를 제안한다. 입력은 해의 실부와 허부, 그리고 종횡비 매개변수 \(ω^2\)로 구성된다. 모델은 1-스텝(one-step) 해 연산자(solution operator)를 근사하도록 학습(training)되며, Fourier 의사분광(pseudospectral) 방법을 사용해 무작위 위상(random-phase) 초기 데이터로부터 생성된 보지 못한(unseen) 궤적에서 평가(evaluation)된다. 수치 실험 결과, 학습된 연산자는 두 토러스 모두에서 주요 해 역학(dynamics)을 포착하고 두 기하의 서로 다른 Sobolev 노름(norm) 거동을 재현한다. 유리수 토러스에서는 더 강한 \(H^2\)-성장을, 무리수 토러스에서는 더 제한된 거동을 보이며, 이는 \cite{hrabski2021energy}의 결과와 일치한다. 우리는 보존 Fourier 모드, 활성화 함수(activation function), Fourier 층(layer) 깊이, 명시적 기하학 조건화의 역할을 조사하기 위해 ablation 연구를 수행한다. 결과는 $ω^2$를 포함하면 장시간 예측 정확도가 향상되며, 특히 유리수 기하에서 그 효과가 크고, 비선형 분산(dispersive) 편미분방정식(PDE)에서 스펙트럼 전달(spectral-transfer) 현상을 학습하기 위한 기하학 인지(geometry-aware) 신경 연산자의 사용을 뒷받침한다.
2D Rayleigh-Bénard 대류(Rayleigh-Bénard convection) 모델링을 위해 전체 해(full solution) 대신 시간 증분(time increment)을 예측하도록 FNO(Fourier Neural Operator)를 개선한 결과, 기존 FNO 대비 평균 상대 오차를 약 2 자릿수 줄이면서도 314k 파라미터, 7ms 추론이라는 경량·고속 구조를 유지하였다. 다만 FNO가 더 세밀한 메시로의 일반화는 가능하지만, 정확도는 학습 데이터의 해상도에 의해 제한됨을 실험으로 확인하였다.
신경 연산자는 함수 공간 사이의 매핑을 학습하기 위한 심층 신경망을 제공한다. 그중 푸리에 신경 연산자(FNO)는 특히 효과적인데, 스펙트럴 합성곱은 저차원 푸리에 영역 표현에 의존하며 서로 다른 해상도의 입력을 처리할 수 있다. 이 설계는 푸리에 기저가 기저 연산자를 대각화하는 설정, 예를 들어 주기적 영역에서 선형 상수계수 PDE의 푸리에 모드가 독립적으로 진화하는 경우와 잘 맞는다. 그러나 비선형 PDE는 다항식 비선형성에 의해 지배되는 모드 간 구조적 상호작용을 나타내므로 추가적인 귀납적 바이어스로부터 이득을 볼 수 있다. 이 귀납적 바이어스를 포착하기 위해, 우리는 고차 스펙트럴 합성곱을 도입한다. 이는 FNO를 대각 변조에서 명시적 n-선형 모드 혼합으로 확장하는 스펙트럴 혼합기로, 비선형 PDE의 동역학과 정렬된다. 표준 벤치마크에서의 실험은 제안된 고차 FNO(HO-FNO)가 FNO 기반 아키텍처의 효율성을 유지하면서 다른 스펙트럴 신경 연산자들에 비해 일관되게 개선됨을 보여준다. HO-FNO는 또한 여러 데이터셋에서 최신 트랜스포머 및 상태 공간 모델과 동등하거나 더 우수한 성능을 내며, 다항식 외력을 갖는 푸아송 방정식과 같이 고도로 비선형인 영역에서 더 큰 이득을 보인다. 이러한 설정에서 단일 HO-FNO 층이 최대 16층의 FNO 모델보다 우수한 성능을 낸다. 재현성을 위해 코드를 https://github.com/AlexColagrande/HO-FNO 에서 오픈소스로 공개한다.
푸리에 신경망 연산자(FNOs)는 편미분 방정식의 해를 근사하는 데 있어 효과적이고 효율적인 대리 모델이며, 이산화 방식에 걸쳐 일반화됩니다. 그러나 FNO의 학습 효율성을 유지하기 위해 주파수 절단에 의존하기 때문에, 경험적 연구에 따르면 FNO는 저주파 정보에 대한 스펙트럼 바이어스를 보이며, 이는 특히 강한 고주파 진동이 있는 특정 PDE의 학습 능력을 저해할 수 있습니다. 이러한 제한을 해결하기 위해, 우리는 사인 표현 신경망(SIRENs)을 활용하여 암시적 신경 표현을 학습하고 모드별 커널 매개변수화를 수행하는 새로운 프레임워크인 SirenFNO를 제안합니다. 우리의 SIREN 매개변수화는 일정하고 이산화에 독립적인 매개변수 수로 전체 그리드 스펙트럼을 학습하므로, 주파수 절단의 필요성을 제거합니다. 우리는 매개변수 및 학습 효율성을 높이기 위해 함수형 텐서 분해를 사용하여 SirenFNO를 추가로 확장합니다. 실험 결과에 따르면, 우리의 SirenFNO는 이산화 불변성을 유지하면서 약 4배에서 15배의 매개변수 감소로 FNO를 지속적으로 능가하며, 우리의 함수형 분해 변형 모델들은 다양한 PDE 벤치마크에서 최대 73배 더 적은 매개변수로 성능 향상을 달성했습니다.