어텐션(attention)의 쿼리 및 키 프로젝션 $\WQ, \WK$는 거의 항상 기하학적 제약 조건 없이 유클리드 최적화 도구로 학습됩니다. 본 연구에서는 이를 슈티펠 다양체(Stiefel manifold)로 제약하고, 프레임당 하나의 스칼라 2차 모멘트를 갖는 리만 아담(Riemannian Adam)—접공간 프로젝터(tangent projector), 스텝 놈 상한(step-norm cap), 극 분해 리트랙션(polar retraction)을 통해 콤팩트 비-아다마르 $\St(d,r)$로 확장된 \citet{becigneul2019}의 형태—을 사용하여 최적화합니다. 네 가지 명제를 통해 임베딩된 메트릭에서의 최급 강하(steepest descent), 그래디언트(gradient) 스케일 독립성, 양호한 조건수(well-conditioning), 그리고 엄밀한 $\mathrm{O}(d)$-동변성(equivariance)을 증명합니다. 다섯 번째 명제에서는 가중치(weight) 감쇠가 $\St(d,r)$ 상에서 리만 그래디언트가 항등적으로 0임을 기록하여($W{=}WI_r$이 법공간에 놓임), 가중치 감쇠가 제약된 프레임에 작용할 수 없음을 보입니다. $n{=}10\mathrm{k}$인 CIFAR-10 패치 벤치마크에서 이 규칙은 12개의 쌍체 시작점 전반에 걸쳐 AdamW 대비 $\mathbf{+6.79}$\,pp 향상($t{=}38.33$, $12/12$)을 달성합니다. 기존 고정 스텝 리만 SGD는 $+1.97$\,pp를 얻었으며, 이 중 $+1.69$\,pp는 동결된 정규직교 초기화(initialization)만으로 발생합니다. 수정된 Adam의 우위는 데이터가 증가함에 따라 커집니다($n{=}1\mathrm{k}$에서 $+1.9$\,pp, $n{=}50\mathrm{k}$에서 $+6.7$\,pp). 12개 시드 절제 연구에 따르면 모든 이득은 스케일 무관(scale-free) 스텝에 기인하며($+4.63$\,pp, $12/12$), 프로젝터나 동변성으로 인한 이득은 없습니다. 표적 $\varepsilon$-스윕을 통해 이 메커니즘을 인과적으로 확인했습니다($\varepsilon{=}0.1$에서 $-2.6$\,pp, $p{<}0.001$). 5개 시드를 사용한 두 번의 그로킹(grokking) 연구에서는 제약 조건이 적용된 모델이 기준선(baseline)보다 그로킹 성능이 더 우수하지 않음을 확인했습니다($p{=}0.019$, A2 승리). 즉, 가중치 감쇠 면제가 그로킹에 미치는 영향은 없습니다. 이러한 국소화를 활용한 단일 시드 파일럿 연구는 슬링샷(slingshot) 조건에서 최초로 안정적인 그로킹을 달성했습니다. 즉, 슈티펠 제약 조건과 표적 회로 정규화(regularization)를 결합함으로써 모든 붕괴 과정에서 비제약 절제 모델보다 라우팅 프레임 등거리(isometry) 오차를 $10^6$배 낮게 유지합니다.
본 논문에서는 작용소 학습(OL) 아키텍처를 통한 비선형 작용소 및 그 도함수의 보편 근사(UA)가 ${C^k_F}$(Fréchet) 콤팩트-오픈 위상 및 Fréchet-Sobolev 노름(즉, 작용소 노름 하에서)에서 성립하지 않음을 보인다. 우리는 보다 자연스러운 약한 위상인 $C^k_B$(Bastiani) 콤팩트-오픈 위상 및 일반적인 유한 입력 측도에 대한 (새로운) 가중 Bastiani-Sobolev 공간에서 UA를 복원함으로써 이러한 난점을 해결한다. 완전한 바나흐 공간(Banach space)의 일반성 하에서, 이는 [Hornik, 1991]의 영향력 있는 고전적 결과를 무한차원 공간 및 OL로 완전히 확장한 최초의 일반화이다. 우리는 자체적인 UAT에 기반하여 DIOL에서 Bastiani-Sobolev 학습(training)을 정식화한다. 이러한 결과는 일반 바나흐 공간에서 도함수 정보 기반 작용소 학습(DIOL)(즉, 비선형 작용소와 그 도함수 학습)의 시초를 연다. 비선형 작용소는 일반 바나흐 공간에서 사용 가능한 고전적 OL 아키텍처인 인코더-디코더 아키텍처를 통해 매개변수화되며, 여기에는 우리 UAT가 다루는 DeepONet, Deep-H-ONet, PCA-Net이 포함된다. 핵심적인 수학적 결과로서, 우리가 제안하는 새로운 가중 Bastiani-Sobolev 공간은 바나흐 공간상의 고전적 가우스(Malliavin) Sobolev 공간을 일반화한다. DIOL과 우리 UAT가 응용될 수 있는 미개척 분야로는 OL에서의 고차 정확도 달성, Learn-Then-Optimize를 통한 바나흐 공간에서의 빠른 제약 최적화(예: 편미분방정식(PDE)의 최적 제어, 역문제), 무한차원 PDE를 위한 수치적 기법(예: PDE, SPDE, 경로 의존 시스템, 부분 관측 시스템, 평균장 제어의 최적 제어 등 Optimize-Then-Learn을 통한 무한차원 최적 제어 기반 바나흐 공간상 HJB PDE) 등이 있다.
파동 전파를 정확하게 시뮬레이션하는 것은 음향학, 전자기학, 지진 분석과 같은 분야에서 매우 중요합니다. 유한 차분법 및 유한 요소 접근법과 같은 전통적인 수치 해석 방법은 헬름홀츠(Helmholtz) 방정식과 같은 지배 편미분 방정식(PDE)을 푸는 데 널리 사용됩니다. 그러나 이러한 방법들은 복잡한 2차원 영역의 고주파 파동 문제에 적용될 때 상당한 계산적 난관에 직면합니다. 본 연구에서는 유망한 대안으로서 유한 기저 물리 정보 신경망(Finite Basis Physics-Informed Neural Networks, FBPINN)과 그 다중 레벨 확장을 조사합니다. 이러한 방법들은 영역 분할법(domain decomposition)을 활용하여 계산 영역을 중첩되는 하위 영역으로 분할하고, 각 하위 영역을 국소 신경망이 관할하도록 합니다. 우리는 균질한 경우의 헬름홀츠 방정식을 해결하는 데 있어 이들의 정확도와 계산 효율성을 평가하며, 전통적인 접근 방식의 한계를 완화할 수 있는 잠재력을 입증합니다.
심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.
고대비(high-contrast) 타원형 문제에 대한 잔차 기반 적응형 GMsFEM은 모든 coarse 이웃에서 국소 가중 $H^{-1}$ 지표를 반복적으로 평가하므로, 반복 쿼리(repeated-query) 설정에서 지표 평가가 반복되는 비용이 된다. D\"orfler marking에 사용되는 지표 점수에 대해 비침투적(non-intrusive) 가우시안 프로세스(GP) 대리 모형을 도입한다. 운영 예측량은 GP 사후 평균이며, 명시된 규약 하에서 커널 릿지 회귀(KRR) 추정량과 대수적으로 동등하다; 다중스케일 해법, 국소 스펙트럼 구성, 또는 기저 enrichment를 바꾸지 않고 압축된 국소 해와 스펙트럼 특징을 사용한다. 비균일 perturbed-marking 결과는 점별 점수 오차가 대리 모형이 선택한 이웃이 포착하는 정확한 지표 질량(indicator mass)에 미치는 영향을 정량화하고, 조건부 bounded-discrepancy KRR 경로는 이러한 점수 경계에 대한 충분한 가정을 밝힌다. 통제된 held-out in-distribution 테스트에서, 대리 모형이 안내하는 방법은 고전적 $H^{-1}$-잔차 오프라인 적응성과 비교 가능한 오차 대 자유도(DoF) 추세를 보이며, 오프라인 데이터 생성 및 GP 학습을 제외하면 온라인 지표 구성 요소 평가가 2.0–2.1배 빠르다.
자기회귀 트랜스포머의 키-값(KV) 캐시는 어텐션 헤드, 토큰, 특징, 그룹화된 층에 걸친 4차 텐서로 볼 수 있다. 본 연구에서는 Mistral-7B-v0.3과 LLaMA-2-13B에서 네 가지 모드 전개(mode unfolding) 모두의 특이값 스펙트럼을 측정하고, 동일한 저장 용량 조건에서 Tucker, CP, 텐서 트레인(tensor train), t-SVD의 네 가지 표준 텐서 분해를 비교한다. 스펙트럼은 네 축을 두 부류로 나눈다. 토큰 모드와 특징 모드는 특히 키(key)에서 저순위(low-rank) 구조를 보인다. 반면 헤드 모드와 층 모드는 거의 전순위(full-rank)이며, 실용적인 어떤 오차 수준에서도 압축에 저항한다. 네 가지 분해 중 Tucker는 전순위 모드를 그대로 둘 수 있기 때문에 $2\times$에서 $5\times$까지 모든 압축률에서 가장 낮은 복원 오차를 달성한다. 2차원 전개(unfolding) 기준선과의 비교에서는 키와 값(value)에 따라 선호되는 표현이 다르다는 점이 나타난다. 동일한 저장 용량에서 2D 방법은 더 낮은 키 오차를 달성하는 반면, 4방향 Tucker는 더 낮은 값 오차를 달성한다. 모드 고정(mode-pinning) 정리는 측정된 스펙트럼만으로 전순위 모드가 보존됨을 보증한다. 전순위 모드에는 영향을 주지 않으면서 압축 가능한 모드에 영향을 미치는 두 가지 스펙트럼 특성이 더 있다. 값은 모든 압축률에서 키보다 더 높은 오차 하한(error floor)에 도달하며, RoPE 이후의 키는 두 모델 모두에서 RoPE 이전 압축 가능성의 $41\%$ - $64\%$를 잃는다.
본 논문에서는 고정된 순열과 교차 배치된 블록 대각 인자들로 구성된 행렬, 즉 유연한 구조화된 행렬군(structured matrices)을 다룹니다. 이 행렬군은 표현력과 효율성 간의 균형 잡힌 절충으로 인해 최근 심층 학습(deep learning) 아키텍처에서 관심을 끌고 있으나, 이를 다루기 위한 효율적인 계산 전략은 아직 밝혀지지 않은 상태입니다. 우리는 리만 기하학(Riemannian geometry)을 통해 이 문제에 접근하며, 어떤 조건 하에서 이 행렬군이 매끄러운 다양체(smooth manifold) 구조를 갖는지 조사합니다. 실용적으로 중요한 직교 2인자 행렬의 경우, 필수적인 리만 도구들을 도출하고 이를 구현하기 위한 효율적인 알고리즘을 제안합니다. 이 알고리즘들은 자동 미분을 활용하고, 각 인자 내 매개변수(parameter) 공유를 지원하며, 명시적인 밀집 행렬 구성을 피합니다. 우리는 최적 행렬 근사 문제와 대규모 언어 모델(LLM)의 매개변수 효율적 미세조정(PEFT)에 대해 리만 최적화 프레임워크 내에서 이를 검증합니다. 2인자 설정을 넘어, 더 많은 수의 블록 대각 인자를 갖는 인수분해의 기하학적 및 행렬론적 특성도 함께 연구합니다.
본 연구에서는 2차 타원 연산자에 대한 일류 인터페이스 문제를 위해 하이브리드 반복 Deep Ritz 방법(H-IDRM)을 제안한다. 이 방법은 문제의 새로운 혼합 형식에 기반하며, 일련의 볼록 최소화 문제를 풀는 과정을 포함한다. 해와 플럭스의 구간별 매끄러움을 수용하기 위해, 인터페이스의 level-set 표현을 특징으로 하는 level-set 신경망 아키텍처를 사용한다. 이 접근법은 인터페이스에서의 쌍대 쌍짓(duality pairing) 대신 체적 표현만을 사용하며, 복잡한 인터페이스 기하에서 불편한 명시적 인터페이스 샘플링을 피한다. 또한 신경망 근사, Monte Carlo 근사, 반복 scheme, 페널티 매개변수에서 기인하는 오차를 포함하여 방법에 대한 분석을 제시한다. 수치 실험 결과, H-IDRM은 고차원 영역, 복잡한 인터페이스 기하, 낮은 부영역 정칙성(regularity)을 갖는 문제에서 기존 신경망 솔버보다 우수한 성능을 보인다.
토폴로지 최적화(TO)는 각 반복마다 유한요소 해석(FEA) 평가를 반복해야 하므로 여전히 계산 비용이 크다. 신경망 기반 대리 모델은 가속 가능성을 제공하지만, 기존 접근법은 예측 목적함수와 민감도 사이의 그래디언트 불일치로 인해 최적화 불안정을 겪는 경우가 많다. 본 연구는 신경 재매개변수화 토폴로지 최적화와 민감도 일관 Fourier 신경 연산자(Sensitivity-Consistent Fourier Neural Operator, SC-FNO)를 결합한 목적함수 비의존 프레임워크 KATOsuper를 제안한다. 이 프레임워크는 forward_split 아키텍처를 사용하며, 예측된 목적함수 장에 대한 자동 미분을 통해 배포 민감도를 도출하여 예측 목적함수와 최적화에 사용되는 그래디언트 간의 일관성을 유지한다. 사례 연구에는 준수(compliance) 또는 응력 최소화를 다루는 2D 벤치마크 문제 3건과 3D 구조 3건이 포함된다. Fourier 위치 임베딩을 갖춘 물리 정보 다채널 입력 인코딩은 해상도 불변 학습을 가능하게 하여, 재학습 없이 학습 해상도를 넘어서는 제로샷 외삽을 지원하며, 중간 정도의 스케일링 계수에서는 유용한 성능을, 최대 64배까지는 토폴로지를 보존하는 탐험을 제공한다. 이 프레임워크는 학습 가능한 B-spline 활성화를 갖춘 새로운 KANConv3D 블록을 특징으로 하는 KATO3D를 통해 3D로 확장된다. KATOsuper는 MATLAB 기준 대비 배포 시간 15–110배 속도 향상을 보이면서 경쟁력 있는 최적성을 유지하며, 가장 뚜렷한 이득은 복잡한 3D 및 응력 최적화 사례에서 관찰된다. 민감도의 크기보다 방향이 더 중요하다는 통찰은 근사 물리 평가에서도 견고한 최적화를 가능하게 하며, 다른 미분 가능한 물리 기반 설계 목적함수로도 확장할 수 있다.
본 논문은 무한차원 힐베르트 공간(Hilbert space)의 모델 매개변수를 갖는 편미분 방정식 역문제에 대한 무한차원 베이즈 추론을 다룬다. 사전 정보를 효과적으로 통합하기 위해 연속 정규화 흐름(continuous normalizing flow) 기반의 새로운 무한차원 모델을 제안한다. 구체적으로, 무한차원 공간에서 잘 정의된 신경 상미분 방정식(neural ordinary differential equation)을 도입하여 단순한 기준 측도(reference measure)를 사전 정보를 인코딩하는 더 복잡한 측도로 변환할 수 있다. 무한차원 공간에서 제안된 베이즈 사전확률의 적합성(well-posedness)을 보장하는 이론적 프레임워크를 정립한다. 또한 서로 다른 두 가지 데이터 설정에 대한 사전확률의 학습 방법과, 그에 따른 베이즈 사후확률에 대한 두 가지 샘플링 알고리즘을 제시한다. 제안 프레임워크는 단순 매끄러운 역문제, 역산란 문제, 역열전도 문제의 세 가지 대표적 역문제에 적용된다. 수치 실험은 이론적 분석을 뒷받침하며 제안 알고리즘의 효율성을 보여준다.
연산자 학습(operator learning)은 머신러닝과 과학 계산의 교차점에서 부상하는 분야이다. 함수 공간 사이의 사상을 학습함으로써 신경 연산자(neural operators)는 편미분방정식(PDE) 계열에 대한 데이터 기반 대리 모델(surrogate model)을 제공한다. 학습이 끝나면 이러한 모델은 해 연산자(solution operator)를 효율적으로 평가할 수 있어, 실시간 예측 및 매개변수 스윕(parameter sweep)과 같은 다중 쿼리(many-query) 응용에 적합하다. 그러나 복잡한 순방향 및 역 문제에 대해 높은 근사 정확도와 안정적인 장기 예측을 유지하는 것은 여전히 어렵다. 이러한 과제를 해결하기 위해, 고전적 반복 솔버의 초기화 및 잔차 보정(residual-correction) 구조를 신경 연산자 학습에 통합하는 Starter-Iterator Neural Operator(SINO)를 제안한다. 주파수 영역 Starter는 지배적인 전역 스펙트럴 특성을 포착하고 정보에 기반한 초기 근사를 제공하며, 잠재 공간(latent-space) Iterator는 연속적인 잔차 기반 보정을 적용하여 국소 및 다중 스케일 해 구조를 정교화한다. Navier-Stokes 및 음향 파동 방정식을 포함한 대표적인 시간 의존 PDE, 이미지 초해상(image super-resolution), 일기 예보(weather forecasting) 응용에 대한 실험은 SINO가 본 연구에서 고려한 벤치마크 전반에 걸쳐 경쟁력 있는 정확도와 안정적인 성능을 달성함을 보여준다.
다중 팔 밴딧(MAB) 문제를 위한 알고리즘은 순차적 의사결정에서 핵심적인 역할을 하며, 이론적으로와 수치적으로 광범위하게 연구되어 왔다. 대부분의 고전적 접근법은 기대 보상이 가장 높은 팔을 식별하는 것을 목표로 하는 반면, 우리는 분산이 가장 낮은 팔을 선택하는 것을 목표로 하는 위험 인식(risk-aware) 설정에 초점을 맞춘다. 이는 잠재적으로 높지만 불확실한 수익보다 안정성을 선호한다. 의사결정 과정을 모델링하기 위해 정책의 소프트맥스 매개변화를 고려하고, 최소 분산(또는 최소 위험) 팔을 선택하기 위한 새로운 알고리즘을 제안하며 자연스러운 조건 하에서 그 수렴을 증명한다. 이 알고리즘은 선택된 팔의 분포에서 두 번의 독립적인 추출을 사용하여 목적 함수의 불편 추정량을 구성한다. 우리는 이러한 알고리즘의 실용적 거동을 보여주는 수치 실험을 제공하고 구현 선택에 대한 안내를 제시한다. 이 설정은 또한 평균 보상을 최대화하는 것과 그 분산을 최소화하는 것 사이에 상충 관계가 있는 일반적인 위험 인식 문제도 포괄한다.
다공성 재료—자연적이거나 인공적인—는 광물 탐험 및 타이트 셰일에서의 탄화수소 회수와 같은 과정을 지배하는 이중 기공 네트워크 구조를 종종 나타낸다. 이중 다공성/투과성(double porosity/permeability, DPP) 수학 모델은 상호작용하는 두 기 pore 네트워크를 통한 비압축성 유체 흐름과 네트워크 간 질량 교환을 기술한다. 수치 방법에서 상당한 진전이 있었음에도, 신속한 예측, 데이터 동화, 그리고 신뢰할 수 있는 역해석을 가능하게 하는 계산 프레임워크에 대한 필요가 남아 있다. 이를 위해 DPP 계의 순방향 및 역모델링을 위한 물리 정보 신경망(PINN) 프레임워크를 제시한다. 제안된 접근법은 지배 방정식을 혼합 형식으로, 경계 조건과 함께, 손실 함수에 직접 인코딩하며, 각 항의 기여를 균형시키기 위한 적응형 가중치 전략을 사용한다. 프레임워크의 핵심 특징으로는 적응형 가중치 조정, 동적 collocation point 선택, 이중 기공 네트워크의 결합 거동을 효율적으로 포착하기 위한 공유 trunk 신경망 구조의 사용이 포함된다. 이 방법은 본질적으로 mesh-free이며, 다공성 매체에서 흔한 복잡한 기하에 잘 맞다. 층상 영역에서 해 필드의 불연속성을, 고전적 유한요소 formulation에서 흔히 관찰되는 spurious oscillation을 도입하지 않고 정확히 포착한다. 중요하게, 이 프레임워크는 역해석에 잘 적합하여, DPP 모델의 질량 전달 계수와 같이 핵심 물리량을 직접 측정하기 어려운 시나리오에서 견고한 매개변수 식별을 가능하게 한다. 또한 방법의 안정성, 정확도, 신뢰성을 엄밀히 평가하기 위한 체계적인 수렴 분석을 제공한다. 접근법의 효과와 계산상 이점은 일련의 대표적인 수치 실험을 통해 입증된다.
디퓨전 모델(diffusion model)은 다양한 생성 작업에서 최고 수준의 성능을 보이는 도구입니다. 그러나 이러한 모델의 학습은 고차원 스코어 함수(score function)를 추정하는 과정을 수반하며, 이는 원리상 차원의 저주(curse of dimensionality)를 겪게 됩니다. 따라서 타깃 분포 내의 저차원 구조를 이러한 모델에서 어떻게 활용할 수 있는지 이해하는 것이 중요합니다. 본 연구에서는 타깃 확률 변수들 간의 특정 희소 조건부 종속성을 설명하는 국소성 구조(locality structure)를 고려합니다. 국소성 구조가 주어지면 스코어 함수는 실질적으로 저차원이 되므로, 국소화된 신경망(localized neural network)을 통해 표본 복잡도(sample complexity)를 크게 줄이면서 이를 추정할 수 있습니다. 이러한 관찰을 바탕으로 국소화된 가설 공간 내에서 스코어 함수를 학습하기 위해 국소화된 스코어 매칭 손실(localized score matching loss)을 사용하는 국소화된 디퓨전 모델(localized diffusion model)을 제안합니다. 우리는 이러한 국소화를 통해 추가적인 국소화 오차를 대가로 차원에 독립적인 오차 한계를 확보하여 디퓨전 모델이 차원의 저주를 피할 수 있음을 증명합니다. 나아가 현실적인 표본 크기 스케일링 하에서 적절한 국소화 반경(localization radius)이 통계적 오차와 국소화 오차 간의 균형을 이루어 전반적으로 더 우수한 성능을 낸다는 것을 이론적 및 수치적으로 입증합니다. 또한 국소성 구조는 병렬 학습을 용이하게 하여, 대규모 응용 분야에서 국소화된 디퓨전 모델이 잠재적으로 더욱 효율적이도록 만듭니다.
전체 변분(TV) 노이즈 제거에 관한 획기적인 Rudin--Osher--Fatemi(ROF) 논문이 발표된 지 30년이 넘었지만, 단순함, 견고성, 해석 가능성 때문에 여전히 관련성이 있다. 그러나 계단 현상(staircasing effect)과 같은 아티팩트를 일으키는 것으로 알려져 있다. 이를 완화하기 위해 모델의 많은 변형이 제안되었다. 최근 수학 해석학 커뮤니티에서 이중상(double-phase) 문제에 대한 막대한 연구 성과가 쌓인 배경에서, TV와 이차 성장의 가중 항으로 구성된 이중상형 적분 범함수가 영상 복원을 위한 정규화 항으로 제안되었다. 본 연구에서는 해당 정규화 항을 바탕으로 ROF 노이즈 제거 모델의 적응형 변형을 제안한다. 이중상 범함수의 가변 성장(variable growth)은 초기 ROF 복원 단계로 포착되는 영상 윤곽에서 질적으로 다른 거동을 가능하게 한다. 본 모델은 고전 ROF 모델 대비 계단 현상을 줄이도록 설계되었으며, 영상의 에지(edge)는 유사한 방식으로 보존한다. 폐형식 리졸벤트(resolvent) 공식을 유도하고, 모델의 수치 해법을 위해 primal-dual Chambolle--Pock scheme을 개조한다. 또한 실용적인 노이즈 의존 매개변수 설정법을 제안하고, 다양한 노이즈 수준에서 합성 및 자연 영상에 대해 성능을 평가한다. 유사한 해석 가능성을 갖는 기존 모델들과 비교할 때, 유사도 지표 SSIM, PSNR, LPIPS 측면에서 개선되거나 유사한 성능을 보이며, 계단 현상은 눈에 띄게 감소한다.
기후 인식 디지털 트윈 시스템을 지원하려면 단기 대기 온도 예측이 필요하지만, 열 관측이 불완전한 곳에서도 그러한 예측을 생성해야 한다. 본 연구는 위치온도(potential temperature) 예측을 위해 압력 좌표 열역학적 이류-원(source) 방정식과, 직전 12시간 구간에서 적합한 후 미래 시점 학습 전에 고정(freeze)한 비단열(diabatic) 원 폐쇄(closure)로 제약하는 물리정보 신경망(physics-informed neural network)을 평가한다. 세 개 압력 레벨에서 시간별 ERA5 재분석을 사용하여, 모델은 1·2·3시간 선행(lead time)에서 지속(persistence), 국지 추세(local-trend), 그리고 동일한 미래 기상 forcing을 PINN과 같이 받는 신경망 기준선 하나를 포함한 두 개의 대응(match) 신경망 기준선과 비교하는 조건부 후향 예측(hindcast)으로 평가되어, 물리적 제약과 미래 forcing 접근의 효과를 구분하는 데 도움이 된다. 오클라호마 개발 사례에서 가장 강한 기준선 대비 평균 RMSE 개선은 1시간에서 8.1%에서 3시간에서 23.8%까지 증가했으며, 후보 위치의 5%까지 관측 밀도 스weep을 내린 희소성 조건에서도 3시간 우위는 14.6–16.9%로 유지되었고, 밀도가 낮을수록 성능이 개선된다는 증거는 없었다. 알abama 열 이벤트로 고정 프로토콜을 이전하고 세 가지 가상 관측 배치를 적용한 경우, 3시간 개선은 19.7–24.4% 범위였고 origin 수준에서 일관된 우위가 있었다. 고정 압력 레벨이 복잡 지형과 교차하는 몬타나 스트레스 테스트에서는 3시간 성능이 대략 17.5% 악화되어, 해당 formulation의 지형 관련 적용 한계를 드러냈다. 종합하면, 물리 제약의 이점은 예측 horizon이 길어질수록 커지고, 심각한 관측 희소성에서도 유지되며, 지역 간 전이되지만, 복잡 지형 위에서 고정 수직 좌표 표현의 타당성에 의해 한계가 있으며, 이는 기후 인식 예측 및 디지털 트윈 시스템의 물리 제약 구성요소와 관련된 근거이다.
주성분 분석(PCA)은 여러 응용 분야에서 데이터의 차원을 축소하기 위한 기초적인 도구입니다. PCA는 표본 공분산 행렬의 고유벡터를 계산하여 데이터 변동성의 대부분을 포함하는 소수의 신호 방향을 찾습니다. 본 연구에서는 데이터 벡터가 소수의 직교 신호와 등방성 가우시안 노이즈의 합으로 정의되는 스파이크 공분산 모델(spiked covariance model)에 초점을 맞추며, 우리의 목표는 하나 이상의 주요 신호를 추정하는 것입니다. 본 연구의 주요 이론적 발견은 개별 고유벡터가 모집단 주성분으로 수렴하기 훨씬 전에 표본 공분산 행렬의 여러 주요 고유벡터로 생성된 부분공간(subspace)이 원하는 신호에 대한 유의미한 정보를 포함한다는 점입니다. 이를 증명하기 위해, 특이벡터에 대한 섭동 이론(perturbation theory)을 활용하여 원하는 모집단 신호로 생성된 부분공간과 표본으로부터 얻은 부분공간 사이 각도에 대한 사후 경계(a posteriori bounds)를 유도합니다. 이를 바탕으로 새로운 알고리즘인 SuperPCA(SUbsPace subsamplER PCA)를 제안하며, 이 알고리즘은 표본 공분산 행렬의 근사 고유공간을 활용하여 고차원 및 다중 신호 환경에서 고전적 PCA보다 훨씬 더 효율적이고 정확하게 주요 신호를 찾습니다. SuperPCA는 데이터의 서브샘플링된 소수의 좌표만을 활용하므로, 특히 신호가 대략적으로 희소(sparse)할 때 데이터 수집 비용을 크게 절감할 수 있습니다. 동일한 측정 횟수에서 SuperPCA는 고전적 PCA 방식에 비해 정확도를 10배($10$) 향상할 수 있습니다.
변분 오토인코더(VAE)는 역문제에 대한 상환 베이지안 추론(inference)을 효율적으로 수행하는 접근을 제공하지만, 역문제에 약하게 식별되는 매개변수 방향이 포함될 때 특히 사후 정확도는 변분 정규화(regularization) 선택에 크게 의존할 수 있다. 본 연구는 세 가지 목적함수를 조사한다: 역 Kullback–Leibler 형식(VAE-KL), 비대칭 Jensen–Shannon 형식(VAE-JS), 그리고 역 Kullback–Leibler 정규화항을 제곱 2-Wasserstein 거리로 대체하면서 순방향 Kullback–Leibler 사후 지도는 유지하는 Jensen–Shannon–Wasserstein 형식(VAE-JSWA). 상환 사후 추론에는 full-covariance 가우시안 인코더와 사전학습된 물리 기반 서로게이트(surrogate)를 사용한다. 일반화 Fisher 기저에서의 국소 선형–가우시안 분석을 개발하여 세 목적함수의 분산 의존 기울기를 특성화한다. 이 형식들은 먼저 알려진 사후 해가 있는 선형–가우시안 벤치마크로 평가한 뒤, 선형 ODE에 의해 지배되는 역문제 하나와 PDE 제약 역문제 두 개를 포함한 비선형 물리 기반 역문제에서 검증한다. 세 접근 모두 유사한 사후 근사를 내놓는 잘 조건화(well-conditioned)된 벤치마크에서는 VAE-KL이 다른 형식들보다 약간 더 나은 성능을 보이는 반면, 강하게 ill-conditioned된 벤치마크에서는 VAE-JSWA가 사후 오차를 현저히 더 낮춘다. 비선형 물리 기반 문제에서도 유사한 조건화 의존 경향이 나타나며, 사후 ill-conditioning이 커질수록 JS 기반 형식이 더 큰 이득을 제공한다. 이러한 결과는 사후 조건화(posterior conditioning)가 변분 목적함수 선택에 중요한 요인임을 시사하며, 베이지안 역문제를 위한 기하학 적응형 변분 추론을 동기 부여한다.
데이터 동화(Data assimilation)는 관측 데이터를 기반으로 복잡한 동적 시스템의 상태를 추론(inference)하는 것을 목표로 합니다. 그러나 고차원 및 희소 관측 조건에서는 비선형 또는 비단사(non-injective) 관측 연산자로 인해 유도되는 다봉(multimodal) 사후확률을 정확하게 추론하는 것이 여전히 주요한 과제로 남아 있습니다. 앙상블(ensemble) 필터는 고차원으로 확장 가능하지만 제한적인 분포 가정에 얽매여 있으며, 무학습(training-free) 생성형 필터(예: EnSF, EnFF)는 이러한 한계를 완화하지만 희소 관측 상황에서 구조적 오류를 유발하고 정보 전파를 저해할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 무학습 방식의 점근적으로 정확한 사후 수송(posterior transport) 방법을 제안합니다. 먼저, 예측 교차 공분산(cross-covariance)을 흐름 기반(flow-based) 수송에 임베딩하여 비가우시안(non-Gaussian) 사후 구조를 보존하면서 관측되지 않은 상태를 정확하게 복원하는 공분산 인식(covariance-aware) 사후 수송 체계를 설계합니다. 나아가, 이 방법은 다루기 쉬운 관측 적응형 제안 분포와 사후 보정을 결합하여 비선형 사후 분포의 정확한 근사를 보장합니다. 마지막으로, 우리는 해당 사후 흐름 이론을 정립하고, 이를 통해 유한 앙상블 대리 모델 대비 제안된 방법의 점근적 정확성과 바서슈타인(Wasserstein) 오차 한계를 도출합니다. Double-Well, Lorenz-96, 그리고 Kolmogorov 흐름에 대한 실험은 제안된 방법이 복잡한 사후 구조를 포착하고 희소, 비선형, 비단사 관측 조건에서도 정확성을 유지함을 보여줍니다. 특히 희소 비단사 설정에서는 최고 성능의 기준선(baseline) 대비 RMSE를 56% 감소시킵니다.
신경 연산자(Neural operator)는 공간적으로 변화하는 계수, 초기 조건, 외력항, 경계 조건, 또는 기하학적 형상과 같이 편미분방정식을 매개변수화하는 입력에서 해 필드(solution field)나 관심 물리량으로의 매핑을 학습하는 데이터 기반 모델입니다. 일단 학습(training)되고 나면, 다양한 입력에 대해 반복적인 평가가 필요한 다중 쿼리(many-query) 환경에서 고전적 수치 솔버의 대리 모델(surrogate) 역할을 할 수 있습니다. 본 연구에서는 주어진 정확도에 대한 비용 관점에서 신경 연산자 대리 모델이 고전적 수치 솔버를 언제, 그리고 왜 능가하는지에 대한 문제를 다룹니다. 데이터 획득 및 학습 비용이 고정되어 완전히 상각된 것으로 간주되는 사후 학습(post-training) 다중 쿼리 극한 상황에 초점을 맞춥니다. 신경 연산자에 의도적으로 유리한 이러한 체제에서도 고전적 솔버가 대리 모델보다 우수한 성능을 보이는 영역이 존재합니다. 우리는 계산 과학 및 공학의 대표적인 문제들에 대해 신경 연산자와 문제에 맞춤화된 고전적 솔버를 비교하는 재현 가능한 벤치마크(benchmark) 연구를 통해, 예측 오차, 쿼리당 부동소수점 연산 비용, 그리고 실제 실행 시간(wall-clock runtime)에 초점을 맞추어 신경 연산자 대리 모델과 고전적 수치 솔버의 비용-정확도 성능을 비교합니다. 신경 연산자는 낮거나 중간 수준의 정확도가 요구될 때 가장 경쟁력이 있습니다. 신경 연산자의 부동소수점 연산 비용 상의 이점은 문제 구조에 크게 좌우되며, 시간적 또는 비선형적 반복을 피하거나 전체 해 필드 대신 축소된 관심 물리량을 예측할 때 발생합니다. 추가적인 실행 시간 속도 향상은 현대 하드웨어에 매우 적합한 조밀한 텐서(tensor) 연산에서 기인합니다. 목표 정확도가 엄격해질수록 신경 연산자로 필요한 정확도를 달성하는 것은 점차 어려워지며, 이 영역에서는 고전적 솔버가 대리 모델을 능가합니다. 따라서 고전적 솔버는 검증 및 고정밀 계산을 위해 여전히 중요하게 유지될 것입니다.