하이브리드 모델과 신경 미분방정식(NDE)은 물리 시스템 모델링에서 점점 더 중요해지고 있으나, 장기 적분 시 안정성과 정확도 문제를 자주 겪는다. 펼친(unrolled) 궤적에 대한 학습은 이러한 발산을 억제하는 것으로 알려져 있지만, 반복 과정에 대해 그래디언트를 계산해야 하므로 계산 비용이 빠르게 과도해져 대규모 물리 시스템(예: 기상 및 기후 예측)에는 비현실적이다. 학습된 동역학의 안정성을 높이기 위한 두 가지 대표적인 패러다임은 보간된 샘플 또는 잡음이 섞인 샘플로 학습하는 것과 학습된 표현의 야코비안을 정칙화하는 것이다. 본 연구에서는 이 두 패러다임이 공통된 관점에서 이해될 수 있으며, 둘 다 펼침 학습 전략에서 얻는 그래디언트의 근사에 해당함을 보인다. 이러한 이해를 바탕으로 원리에 입각한 완전한 정칙화 학습 접근법을 유도하고, 이것이 학습된 동역학계의 안정성에 미치는 영향을 입증한다.
완전 전기 도체(PEC) 경계 조건만으로는 맥스웰 curl-curl 연산자의 기울기 영공간이 제거되지 않는다. 따라서 물리 정보 기반 극한 학습 기계(PIELM)의 고유값 확장인 Eig-PIELM의 경계 조건만 사용하는 맥스웰 구현은 축소된 시도 공간에 표현된 기울기 모드를 유지할 수 있으며, 그 결과 기울기에 오염된 비물리적 모드가 생성된다. 우리는 Eig-PIELM의 선형 계수, 경계 영공간, 단발(one-shot) 다중 모드 구조를 유지하는 유한 차원 구조 보존 확장인 dR-Eig-PIELM을 개발한다. 이 방법은 적합한 텐서곱 grad–curl 시도 공간과 제약된 영공간 구성을 결합하여, 고유값 계산 이전에 표집된 PEC 공간을 표현된 기울기 상(image)의 질량 직교 여공간으로 제한한다. 대칭 약형식 Gram 조립은 명시된 표집 및 물질 양수성 가정 아래에서 고유값 절단 없이 대칭 정부호 축소 고유문제를 제공한다. 직사각형과 직육면체에 대해서는 PEC 벡터장 공간에서의 고정 차수 정확성을 증명하고 rank 및 차원 항등식을 유도한다. 수치 실험은 dR-Eig-PIELM이 경계 조건만 사용하는 기준 방법에서 관찰된, 유의미한 기울기 성분을 가진 가짜 고유모드를 배제함을 보여 준다. 이 방법은 다항식 차수가 증가함에 따라 빠른 수렴을 보이며, 시험한 구성에서 경쟁력 있는 작업량–정밀도 성능을 나타낸다. 공변 사상(covariantly mapped) 도파관 예제는 계산된 차단 주파수와 그 민감도에 의해 구동되는 제약된 국소 기하 갱신을 통해, dR-Eig-PIELM을 설계 최적화 워크플로에 통합할 가능성을 보여 준다. 본 연구는 Eig-PIELM 내에서 표현된 기울기 모드를 물리적 맥스웰 고유모드로부터 분리하기 위한 수학적·계산적 틀을 제공하며, 도파관 스펙트럼 분석과 기하 설계에서의 활용을 뒷받침한다.
우리는 블랙홀의 섭동 방정식으로부터 조석 러브 수(tidal Love number)를 직접 계산하기 위한 물리 정보 신경망(PINN) 프레임워크를 개발하고 검증한다. 우리는 커(Kerr) 블랙홀의 정적 섭동을 고려하는데, 이 경우 정확한 초기하함수 해가 존재하여 수치 풀이기와 물리적 응답 추출 모두에 대한 통제된 기준을 제공한다. 이 프레임워크는 지평선 경계 조건의 정확한 강제와, 미분 방정식 잔차의 도함수를 포함하는 $H^2$-소볼레프 손실을 결합한다. 이후 해석적 연결 공식을 사용하지 않고, 학습된 해의 점근 계수를 추출하여 러브 수를 얻는다. 시험한 스칼라, 벡터, 텐서 섭동 전반에서 이 방법은 유한한 소산 응답을 $10^{-5}$ 미만의 상대 오차로 복원한다. 통제된 비교 결과, 고차 도함수 손실 항은 해의 정확도를 여러 자릿수만큼 향상시키며, 추출 절차에 대한 독립적인 시험은 풀이기의 오차와 응답 계수 복원 과정의 오차를 구별해 준다. 해석적으로 0이 되는 보존적 응답은 수치 오차 하한에 의해 제약된다. 이러한 결과는 PINN이 블랙홀의 조석 응답을 정확하게 계산할 수 있음을 보여 주며, 향후 주파수 의존 및 비분리형 섭동 문제로 확장하기 위한 검증된 프레임워크를 확립한다.
우리는 미시적 물리 법칙으로부터 에너지 안정적인 거시적 편미분방정식(PDE)을 직접 구성하는 일반화된 변분 접근법을 제시한다. 거시적 궤적으로부터 지정된 변수의 PDE 발전을 적합하는 대신, 보조 변수를 덧붙여 확장된 상태 공간에서 자율적인 축소 동역학을 찾도록 확장 가능한 변분 구조를 구성한다. 이러한 변수를 명시적인 미시적 대응물을 가진 미시-거시 인코더로 정의함으로써, 학습 문제를 시간 이산 데이터로부터 축소 상태 표현과 변분 요소를 표본 단위로 공동 식별하는 문제로 설정하며, 이를 통해 스케일 간 법칙 수준의 체계적인 전이가 가능해진다. 결과로 얻는 PDE는 구성상 틀 무차별성, 물리적 제약, 에너지 안정성을 보존하며, 요동-소산 일관성을 갖춘 확률적 확장을 허용한다. 고분자 유체의 비뉴턴 유체역학에 대한 수치 결과는 학습된 모델이 경험적 닫힘 관계를 넘어 비선형적이고 불균질한 분자 상호작용이 유발하는 점탄성 응답을 포착함을 보여 준다.
베이지안 역문제는 정보력 있는 사전 모델과 계산적으로 실현 가능한 사후 추론을 모두 필요로 한다. 점수 기반 확산 모델은 표현력 있는 학습된 사전분포를 제공하지만, 이를 역문제에 사용하면 조건화 문제가 생긴다. 즉 노이즈가 더해진 사후분포의 스코어는 일반적으로 사전분포의 스코어만으로는 얻을 수 없다. 이 선별적 서베이는 우도 가이던스, 스펙트럼 및 사영 방법, 순차 몬테카를로 보정, 상각 조건부 학습을 포함하여 이 문제에 대한 주요 접근법들을 검토한다. 우리는 방법들을 오프라인 준비와 온라인 추론 사이에 비용을 어떻게 나누는지에 따라 분류하고, 계산 속도 향상에 중점을 두어 그 가정, 장점, 한계를 비교한다. 진행 중인 몇 가지 방향과 미해결 문제는 끝부분에 정리한다.
대수적 멀티그리드(AMG) 방법은 대규모 희소 선형 시스템을 풀기 위해 널리 사용되지만, 그 효율은 서로 상호작용하는 설정 및 풀이 매개변수에 크게 좌우된다. 효과적인 매개변수 선택은 일반적으로 문제에 따라 달라진다. 본 논문은 관련된 선형 시스템 열에 대한 누적 해결 시간을 줄이기 위해 hypre의 BoomerAMG를 위한 단계 인지형 온라인 자동 튜닝 방법을 개발한다. LinUCB 기반 문맥적 밴딧이 PDE 기술자와 구성 인코딩에 대한 공유 비용 모델을 사용하여 AMG 계층 구성을 위한 혼합형 매개변수를 선택한다. 재귀적 LSTDQ 제어기는 잔차와 시간 관측값을 사용하여 각 시도 내의 AMG 풀이 시간을 추정하고 멀티그리드 사이클 사이에서 이완 가중치를 조정한다. 두 학습기 모두 오프라인 사전 학습 없이 진행 중인 풀이로부터 갱신된다. 크기가 $40^3$, $60^3$, $80^3$인 격자 전반에서, 결합 자동 튜닝 방법은 5000개 선형 시스템 열에 대해 기준 BoomerAMG 기본 구성 대비 반복되는 학습기 계산을 포함한 총 실행 시간을 확산 문제에서 36.1-43.3%, 확산-이류 문제에서 19.8-31.0% 줄인다. $60^3$ 격자의 30,000개 시스템으로 구성된 가변 유동 확산-이류 벤치마크에서는 각자의 시도 예산 하에서 결합 자동 튜닝 시 2개 시스템이 수렴하지 못한 반면 기준 구성에서는 1677개가 수렴하지 못했다.
단위 구 위의 ReLU$^s$ 릿지 함수로 생성되는 가중 변동 공간에서의 최소 노름 보간을 연구한다. 여기서 $s$는 양의 정수이다. 가중 변동 공간에 속한 대상 $f$와 채움 거리 $h$가 충분히 작은 노드 집합에 대해, 모든 최소 노름 보간자는 순방향 경계 $\|f-\mathscr{I}_{X_h}f\|_{L_2(\mathbb{B}^d)}\lesssim_{d,s}h^{(2s+1)/4}\|f\|_{\mathcal{V}_s}$를 만족한다. 노드에 대한 경계 분리 조건 하에서 최악의 보간 오차에 대한 일치하는 하한을 구성한다. 역문제에 대해서는 쌍대 인증서(dual certificate)를 도입하고 베른슈타인 부등식과 유사한 추정을 유도한다. 사전 크기에 대한 적절한 상한과 원자 그램 행렬에 대한 스펙트럼 하한 하에서, 기하급수적으로 감소하는 채움 거리를 따른 최소 노름 보간자의 $L_2$ 수렴이 충분히 빠르면 대상이 $\mathcal{V}_s$에 속함이 도출된다. 부산물로서, 너비가 최대 $n$인 얕은 ReLU$^s$ 네트워크에 대한 최선의 $L_2$ 근사 오차 $E_n(f)_{L_2(\mathbb{B}^d)}$는 $E_n(f)_{L_2(\mathbb{B}^d)}\lesssim_{d,s}n^{-1/2-(2s+1)/(2d)}\|f\|_{\mathcal{V}_s}$를 만족하며, 근사 네트워크의 가중 원자 비용은 $n$과 무관하게 $\|f\|_{\mathcal{V}_s}$의 상수배로 유계이다.
반복 연산에서 행렬을 무작위 저랭크 행렬로 대체하면 행렬-벡터 곱셈의 비용을 줄일 수 있다. 그러나 샘플링된 행렬이 기댓값 측면에서 원래 행렬과 같더라도, 원래의 반복이 수렴하는 동안 무작위 반복 벡터의 기대 제곱 노름은 증가할 수 있다. 본 연구는 랭크 상한이 고정된 조건에서 각 단계마다 독립적으로 샘플링할 때 이러한 증가를 최소화하도록 무작위 행렬의 분포를 어떻게 선택할지 연구한다. 최적 점근 증가 인자에 대한 정확한 공식을 유도하고, 이를 이용하여 기대 제곱 노름이 0으로 수렴할 수 있는 조건을 결정한다. 이어서 고정된 샘플링 분포가 이 최적 인자를 달성하는 경우를 정밀하게 규명하고, 달성 가능한 모든 경우에 대해 유한 지지집합을 갖는 최적 분포를 구성한다. 이러한 결과는 안정성에 필요한 최소 랭크를 결정하며, 주어진 랭크 제약 하에서 최적의 샘플링 설계를 제공한다.
비선형 동역학계의 연속 시간 진화를 학습하는 일은 궤적 기반 목적함수에 의존하는데, 이는 학습 중 학습된 동역학을 시뮬레이션하고 수치 기법을 통해 역전파해야 하며 그 비용이 롤아웃 horizon에 따라 증가한다. 본 논문은 롤아웃 horizon이 늘어날수록 궤적 기반 목적함수가 퇴화하여 경사 기반 최적화를 저해하며, 수치 기법이 학습된 야코비안의 스펙트럼을 절대 안정 영역으로 제약함으로써 학습된 동역학에 편향을 일으킴을 보인다. 이러한 한계를 극복하기 위해 구간별 선형 보간과 확률적 콜로케이션에 기반하여 샘플링 간격에 대해 2차까지 속도 모집단 위험을 근사하는 시뮬레이션 불필요 목적함수인 속도 정합(Velocity Matching, VM)을 제안한다. 우리는 속도 기반 학습을 위한 이론적 틀을 구축하고, 속도 오차로 궤적 오차를 제어하는 안정성 추정을 도입하여, 학습된 속도장이 심층 신경망으로 매개화될 때의 보편 근사 및 연속 시간 근사 결과를 증명한다. VM 목적함수의 편향-분산 분해를 바탕으로, 속도 모집단 위험에 대한 VM의 고차 근사가 일치 최소화자를 제공하고, A-안정 연속 스테이지 Runge-Kutta 기법의 잔차와 관련되어 암시적 풀이 없이도 VM을 암시적 적분과 연결하며, 기저 속도장이나 그 야코비안에 접근하지 않고도 관측된 궤적을 따라 학습된 야코비안의 작용을 참 야코비안의 작용에 암묵적으로 정합시킴을 보인다. 비선형 상미분방정식과 반이산화된 시간 의존 편미분방정식에 대한 수치 실험에서 VM은 궤적 기반 목적함수보다 정확도를 개선하면서 시뮬레이션 비용과 긴 롤아웃의 불안정성을 모두 피한다.
Domain-decomposed Evolutional Deep Neural Network with Random Features for Transient Pressure Diffusion with Discontinuous and High-Contrast Coefficients
불均질 다공성 매질에서의 과도 압력 확산은 투수율이 불연속적이고 여러 자릿수에 걸쳐 있을 때 효율적으로 풀기 어려워진다. 본 논문에서는 공간 근사와 시간 발전을 분리하는 영역 분할 랜덤 특징 진화형 심층 신경망(DD RF-EDNN)을 개발한다. 투수율을 반영한 랜덤 특징을 직교 정규 압력 공간으로 압축하고, 보존적 유한체적 연산자를 이 공간에 사영하여 축소된 좌표만 시간에 따라 전진시킨다. 이 정식화는 반복적인 신경망 최적화 없이도 이산 유동 문제의 소산 구조를 유지한다. 분석은 사전(dictionary) 및 특이값 절단 오차를 정량화하고, 에너지 일관적 소산성 보정 하에서 축소성(contractivity)을 증명하며, 정상 리프팅을 허용하는 동차 동역학과 시간 독립 데이터에 대한 조건부 격자 수준 추정을 유도한다. 저투수율 함유물, 고전도도 블록과 채널, 3차원 격자에 대한 수치 실험은 서로 다른 계수 구성에 걸쳐 이 방법의 정확도를 평가한다. 이 방법은 주요 벤치마크에서 최종 시간 상대 $L^2$ 오차 $9.54\times10^{-4}$에 도달하며, 투수율 대비 $10^3$에서도 $10^{-2}$ 수준의 오차를 유지한다. 수치 진단은 관측된 오차 균형과 시간 수렴이 분석과 일치함을 추가로 보여준다. 이러한 결과는 DD RF-EDNN이 주어진 불균질 매질에서의 과도 시뮬레이션을 위한 구조 보존적이고 해석 가능한 축소 정식화임을 뒷받침한다.
우리는 물리 정보 신경망(PINN)에서 자동 미분(AD)의 대안으로서 유한 차분(FD) 도함수 계산을 체계적으로 연구한다. 세 가지 벤치마크 PDE에서, 스텝 크기를 적절히 보정하면 FD가 모든 문제에서 AD와 대등한 정확도를 보이면서, 검증된 전체 배치 크기 범위에서 더 빠르게 실행되고 GPU 메모리를 상당히 적게 사용함을 보이며, 우리가 제안하는 확률적 변형은 정상(stationary) 문제에서 AD보다 우수함을 보인다. 나아가 샘플 간 의존성이 있는 신경망 구조(예: BatchNorm, 셀프 어텐션)에서는 표준적인 PyTorch autograd 관용 방식이 조용히 잘못된 결과를 낸다는 점을 보인다. 올바른 샘플별 대안은 PINN에서 의미 있는 배치 크기에서는 계산적으로 실행이 불가능한 반면, FD는 실제 샘플별 도함수에 경험적으로 한 자릿수 더 가까운 순전파 전용 근사를 제공한다.
본 논문에서는 연속체 주변분포 최적 수송을 연구한다. 시간에 따라 연속적인 확률 주변분포들의 族이 주어졌을 때, 그 흐름이 모든 주변분포를 재현하는 최소 에너지 속도장을 복원하는 것이 문제이다. 이 문제는 고전적인 두 주변분포 Benamou-Brenier 정식화의 연속체 극한이며, 확률적 최적 수송의 Nelson 문제의 결정론적 극한이기도 하다. 우리는 이 문제를 위한 실용적인 메시 없는 풀이법을 제안한다. 약한 연속 방정식을 재생 커널 힐베르트 공간에 내장하여 공간 이산화가 필요 없는 표본 기반 목적함수를 얻는다. 속도는 임의의 파라미터 선형 사전 또는 신경망으로 매개변수화되며 미니배치 확률적 방법으로 최적화된다. 합성 실험을 통해 이 방법이 정확한 드리프트 복원과 주변분포 일관성을 달성함을 확인한다. 동일한 계산 프레임워크는 Nelson 문제에도 적용된다.
확산 모델의 추론 시점 정렬은 참조 점수 네트워크를 재학습하지 않고 사전학습된 참조 확산 모델을 목표 분포로 적응시키는 것을 목표로 하며, 이를 통해 참조 모델의 생성 능력을 보존하면서 추론 시점에 원하는 속성을 부과한다. 이러한 정렬을 달성하는 핵심 메커니즘은 추가적인 드리프트 항을 통해 샘플링 동역학을 수정하는 가이던스이다. 본 연구에서는 Doob의 $h$-변환에 기반한 증명 가능한 가이던스 추정을 위한 새로운 프레임워크인 변분적으로 안정적인 Doob 매칭을 제안한다. 우리의 접근법은 가이던스를 기저의 Doob $h$-함수의 로그에 대한 기울기로 정식화하고, 기울기 정규화 회귀를 사용하여 $h$-함수와 그 기울기를 동시에 추정함으로써 가이던스의 일치 추정량을 얻는다. 이론적으로 추정된 가이던스에 대한 비점근적 수렴률을 확립한다. 더 나아가 그 결과로 얻어지는 제어 가능한 확산 과정을 분석하고, 생성된 분포에 대해 Wasserstein-2 거리에서의 비점근적 수렴 보장을 증명한다. 마지막으로, 변분적으로 안정적인 가이던스 추정량이 미지의 저차원성에 적응적이어서 저차원 선형 부분공간 가정하에서 차원의 저주를 효과적으로 완화함을 보인다. 수치 실험은 제안한 방법의 효과를 입증하며 기준선 대비 장점을 보여준다.
우리는 회귀 및 분류 문제를 위한 분포적 강건 최적화(DRO) 오픈소스 파이썬 라이브러리인 dro를 소개한다. 이 라이브러리는 15개의 DRO 정식화와 9개의 백본 모델을 구현하여 85가지의 서로 다른 DRO 방법을 지원한다. 또한 dro는 통합 인터페이스를 통해 scikit-learn 및 PyTorch와 모두 호환되며, 계산량이 많은 일부 정식화에 대해서는 근사 기법을 사용하여 실행 시간을 줄인다. 포괄적인 문서는 https://python-dro.org 에서 확인할 수 있다.
공정성 제약이 있는 문제와 같이 많은 실제 문제는 복잡한 기댓값 제약과 대규모 데이터셋을 수반하므로, 이를 풀기 위한 효율적인 확률적 방법의 설계가 필요하다. 기존 연구의 대부분은 제약이 없거나, 사영하기 쉬운 제약이거나, 결정론적 제약인 경우에 초점을 맞춘다. 본 논문에서는 기댓값 제약이 있는 비볼록 비평활 확률적 최적화 문제를 고려하며, 이에 대해 새로운 정확 벌칙 모델을 구축한다. 먼저 벌칙 모델과 원래 문제 사이의 관계를 보인다. 이어서 벌칙 문제를 풀기 위해, 목적 함수와 제약 함수의 부분기울기 및 각 반복에서의 제약 함수 값을 활용하는 단일 루프 SPIDER 유형 확률적 부분기울기 방법을 제시한다. 기존 연구에서 가정하는 Slater 유형 제약 규약이나 강한 가능성보다 약한 특정 정칙 조건 하에서, 벌칙 문제의 기댓값 기준 근사 $\epsilon$-정류점에 도달하는 반복 복잡도 $O(\epsilon^{-4})$를 증명하며, 이는 이러한 과제의 하한과 일치한다. 정확 벌칙화에 기반하여 원래 문제의 $(\epsilon,\epsilon)$-KKT 점을 얻는다. 일부 시나리오에서는 목적 함수 표본 부분기울기 또는 제약 함수 표본 값의 복잡도가 최신 결과보다 $\epsilon^{-2}$배만큼 낮을 수 있다. 또한 두 가지 공정성 제약 문제와 다중 클래스 Neyman-Pearson 분류 문제에서, 본 방법은 스위칭 부분기울기 방법과 비정확 근접점 방법을 포함한 최신 알고리즘보다 유의하게(최대 466배) 빠르다.
신뢰할 수 있는 수치 시뮬레이션으로부터 학습한 차수 축소 모델(ROM)은 복잡한 물리 시스템의 실시간 시뮬레이션을 가능하게 하여, 불확실성 정량화와 최적 제어처럼 계산적으로 엄두를 내기 어려운 과제를 다룰 수 있게 한다. 특히 데이터 기반 ROM은 수치 시뮬레이션과 실험 데이터 모두로부터 학습할 기회를 열고 있다. 그러나 이러한 정보원을 통합하는 일은 결코 간단하지 않다. 실제 측정에는 비가우시안 잡음, 잠재 이질성, 알려지지 않거나 숨겨진 시스템 매개변수, 데이터 해상도 이하에서 일어나는 다중 스케일 현상 등 여러 불확실성 원천이 흔히 존재한다. 따라서 실제 데이터는 매개변수화된 확률적 편미분방정식으로 더 잘 기술되지만, 이에 대한 효과적인 ROM 개발은 상대적으로 덜 탐구되어 있다. 본 연구에서는 매개변수화된 고차원 시스템의 효율적인 불확실성 정량화를 위한 데이터 기반 생성형 ROM인 POD-CNF를 소개한다. 이 접근법은 투영 기반 모델 축소와 심층 생성 모델링을 결합한다. 먼저 고유직교분해(POD)로 해 다양체의 저차원 표현을 얻는다. 이어서 조건부 정규화 흐름(CNF)을 학습시켜 입력 매개변수에 조건부인 축소 계수의 밀도를 근사한다. 이러한 정식화는 대리 모델이 복잡한 다봉 출력 분포를 포착하게 하여, 표준 회귀 기반 ROM과 최소제곱 예측을 넘어선다. 수치 실험을 통해 POD-CNF의 효과를 평가하며, 출력 분포를 정확하게 재현하면서 계산 비용을 크게 줄일 수 있음을 보인다. 마지막으로 개념 증명 응용을 통해 생성 패러다임이 베이즈 역문제로의 통합을 어떻게 용이하게 하는지 보이고, 향후 연구의 유망한 방향을 제시한다.
본 논문에서는 유한 선형 근사 클래스에 대해 경사 하강법 학습 하에서의 일반 주파수 원리를 연구한다. 적절한 가정 하에서, 목표 진폭에 대한 학습기 진폭의 비가 학습 전 과정에 걸쳐 균일하게 고주파에서 소멸함을 증명한다. 또한 개별적으로 학습된 단일 주파수 목표와 같은 실행에서 학습된 두 주파수 성분을 포괄하는 저주파 우선성의 충분 조건을 확립한다. 이 일반 주파수 원리는 낮은 주파수가 항상 더 빨리 수렴함을 의미하지는 않는다. 대신 특정 비교 조건을 만족하는 두 주파수의 경우 한 성분이 다른 성분보다 학습에 더 오래 걸리며, 일반적인 경우 더 오래 걸리는 성분이 더 높은 주파수를 가진다. 르장드르 기저와 삼각 기저를 이용한 수치 실험이 이론적 결과를 뒷받침한다.
잠재 동역학 학습은 시간 의존적이고 매개변수화된 편미분방정식(PDE)의 모델 차수 축소(MOR)를 위한 주요 접근법으로 부상하였다. 기존 오토인코더 기반 접근법은 학습과 추론 모두에서 고정된 공간 이산화에 본질적으로 묶여 있어 메시 없는(meshless) 방법론의 개발이 요구된다. 이러한 맥락에서 조건화(conditioning)는 공간적으로 연속인 함수를 통해 시간적 진화를 표현하는 자연스러운 메커니즘을 제공하며, 메시에 무관한 잠재 동역학 모델(LDM)을 가능하게 한다. 본 연구에서는 신경장(NeF)의 조건화에 기반한 메시 무관 LDM의 통합 수학적 틀을 제시한다. 조건화 메커니즘의 분류(약한, 강한, 순수)를 활용하여, 메시 없는 LDM을 잠재 상태로 조건화된 NeF로 정식화한다. 이 모델 부류에 대한 보편 근사 정리(UAT)를 증명하고, 여러 조건화 메커니즘에 대한 Lipschitz 상계를 유도하여 안정성을 분석한다. 분석 결과 표현력과 안정성 사이의 상충 관계가 드러나며, 이는 더 표현력 높은 조건화가 더 큰 표현 용량에도 불구하고 시간 외삽 시 성능을 저하시킬 수 있는 이유에 대한 통찰을 제공한다. 마지막으로 공간 이산화의 연속 극한에서 메시 없는 구조와 메시 기반 구조를 종합적으로 비교하여, 메시 기반 모델과 달리 메시 없는 모델은 격자에 무관한 Lipschitz 상계를 보장함을 보인다. Burgers 방정식, 원기둥 주위 Navier--Stokes 유동, 선형 이류에 대한 실험에서 메시 없는 LDM은 학습 가능한 파라미터의 2%만 사용하면서도 메시 기반 모델과 동등하거나 더 나은 예측 정확도를 달성하고, 공간 이산화에 걸쳐 거의 일정한 오차를 보였다.
현대 언어 모델의 근본적인 구성 요소인 어텐션 메커니즘의 병목은 컨텍스트 크기에 대한 이차 복잡도이다. 이에 따라 KV 캐시 압축이라고도 불리는 컨텍스트 압축에 대한 관심이 높아지고 있다. 본 논문에서는 어텐션 메커니즘의 컨텍스트를 압축하는 문제를 먼저 그 커널에 연관된 힐베르트 공간에서 정식화하여 다룬다. 이 형식에서 어텐션은 두 선형 사상의 비로 표현될 수 있고 그 보간식 또한 보간식들의 비가 되므로, 선형 사상을 직접 보간하는 것을 고려할 수 있다. 이에 우리는 각각 일반화 경험적 보간법(GEIM)과 Q-이산 경험적 보간법(Q-DEIM)에 기반한 두 가지 새로운 KV 캐시 압축 방법 GAIM과 Q-DAIM을 제안한다. 이 방법들의 비용은 컨텍스트 길이에 대해 이차이므로, 테일러 급수, Performer, 랜덤 푸리에 특징 방법에 기반한 대리 모델을 제안하여 압축을 선형 시간에 수행할 수 있게 한다. 마지막으로 이 결과를 스트리밍 어텐션 설정으로 확장하여, 이전에 보간된 컨텍스트를 바탕으로 보간 노드 선택에 페널티를 부과하고 새로운 정보에 따라 이전 보간을 갱신할 수 있는 새로운 방법을 제시한다. 이어서 잔차와 향후 질의에서의 출력 오차의 수렴에 대한 수치 결과와, 최첨단 방법에 필적하는 성능을 보이는 LongBench-E 벤치마크 예비 결과를 제시한다. 이러한 실험은 Q-DAIM 방법이 드러내는 범위가 KV 캐시에서 정보가 집중된 위치를 파악하는 데 도움이 되어 효율적인 압축을 가능하게 할 수 있음을 시사한다.
물리 정보 기반 학습(physics-informed learning)은 편미분방정식(PDE)이 지배하는 역문제(inverse problem)에 점점 더 많이 사용되고 있지만, 그 신뢰성을 보증하기는 여전히 어렵다. 본 논문은 물리 정보 기반 역학습(inverse learning)을 위한 무해(no-harm) 인증 및 선택 프레임워크를 제안한다. 학습된 재구성(reconstruction)은 잔차 보정 반경(residual-calibrated radius)이 기준선(baseline) 반경보다 나쁘지 않을 때, 즉 $$R_{\mathrm{learn}}\le R_{\mathrm{base}}+\varepsilon_{\mathrm{safe}};$$일 때만 채택되며, 그렇지 않으면 방법은 기준선을 반환한다. 인증서(certificate)는 데이터, 물리, 경계 또는 초기 조건, 그리고 최적화 잔차를 결합한다. 조건부 안정성 추정 하에서, 이러한 잔차들은 사후적(a posteriori) 재구성 오류 경계와 결정론적(deterministic) 불확실성 반경을 제공한다. 독립적인 무작위 collocation 점들로부터 추정된 물리 잔차에 대해서도 고확률(high-probability) 인증서가 유도된다. Poisson 소스 복원, 역 열 재구성, 제한각 단층촬영(limited-angle tomography), 타원형 계수 식별, 그리고 확률적 잔차 검증(validation)에 대한 수치 실험은 선택기(selector)가 인증된 개선을 수용하고, 편향·환각(hallucinated)·미완성 후보를 거부하며, 강하게 ill-posed인 영역에서는 보수적으로 동작함을 보여준다. 따라서 이 프레임워크는 또 하나의 재구성 아키텍처가 아니라 인증 및 선택 층(layer)이다.