시간에 따른 neurite 형태학 추적은 신경 발달 및 퇴행 과정에서 구조적 변화를 특성화하는 데 도움이 되지만, 장기 타임랩스(time-lapse) 영상은 자원 집약적이며 규모 확장이 어렵다. 미래 형태를 예측하면 이러한 부담을 줄일 수 있다. gated spatiotemporal attention(gSTA) 같은 기존 neurite 디지털 트win 모델은 단일 결정론적 예측만 생성하며, 그럴듯한 미래들 사이의 변동성을 표현하지 못한다. 우리는 Morphology-Gated Residual Diffusion(MGRD)를 제안한다. 이는 최신 관측에서 도출한 형태학 특징에 조건화하면서, 10프레임 관측으로부터 20개의 미래 neurite 형태학 프레임을 공동 예측하는 컴팩트한 확률적 서로게이트(surrogate)이다. 통제된 phase-field 궤적에서 MGRD는 매칭된 대조군 대비 궤적별 평균 MAE를 9.7% 줄이면서, 4.46배 더 적은 파라미터를 갱신한다. 인간 iPSC 유래 뉴런 현미경 영상에서 MGRD는 gSTA 대비 보고된 네 가지 지표를 모두 개선하며, 궤적별 평균 MAE 39.6% 감소와 skeleton F1 45.3% 증가를 포함한다. 마우스 도메인 재학습이나 미세조정 없이, MGRD는 10–40분 샘플링 간격과 13시간을 넘는 예측 구간(horizon)에서 마우스 피질 neurosphere 현미경 영상의 MAE와 skeleton F1도 개선한다. 반복 샘pling은 예측 난이도 순위를 매기기 위한 case 수준 분산 점수를 제공한다. 분산이 가장 낮은 case의 약 60%만 유지하면 iPSC 현미경에서 평균 MAE가 17.6%, 시뮬레이션 데이터에서 16.8% 감소한다. MGRD는 gSTA 파라미터의 1.01%를 사용하고, 학습 갱신 시간은 gSTA의 10분의 1 미만이며, 형태학 특징을 캐시할 때 50단계 DDIM 궤적을 7.9% 더 빠르게 생성한다. 이 결과는 MGRD가 시뮬레이션 및 현미경 데이터셋 전반에서 neurite 형태학 예측과 case 우선순위 지정을 위한 컴팩트한 확률적 서로게이트임을 보여준다.
복잡한 물리 시스템의 고정밀 시뮬레이션(high-fidelity simulation)은 반복적인 예측, 설계, 제어에 사용하기에는 비용이 지나치게 큰 경우가 많다. 축소 모델(reduced-order model)은 고차원 동역학을 신속하게 평가할 수 있는 저차원 표현으로 압축함으로써 이러한 계산 비용 문제를 해결하지만, 온라인 동역학이 오프라인 학습 데이터의 범위를 벗어나면 정확도를 잃는 경우가 많다. 적응형 방법(adaptive method)은 전체 차수 보정(full-order correction)이나 센서 스냅샷과 같은 외부의 범위 밖(out-of-span) 정보를 사용하여 축소 부분공간(reduced subspace)을 온라인으로 갱신함으로써 이러한 한계를 해결한다. 우리는 현재의 축소 부분공간 내부에 이전까지 활용되지 않았던 상보적인 범위 내(in-span) 적응 채널이 존재함을 발견했다. 이 채널을 활용하기 위해, 우리는 망각 계수(forgetting factor)를 적용한 점진적 특이값 분해(incremental singular-value decomposition)를 통해 모델 자신의 예측값을 이용하여 축소 표현을 지속적으로 갱신한다. 이는 축소 부분공간 자체는 그대로 유지된 채, 전개되는 동역학이 지나간 방향에 따라 기저(basis)가 재가중되고 재정렬되는 궤적 기반(trajectory-informed) 스펙트럼 전처리자(spectral preconditioner)를 만들어낸다. 이러한 내부 재구성은 향후의 범위 밖 보정을 더 효과적으로 흡수할 수 있도록 기저를 준비시켜, 추가적인 외부 정보 없이도 적응 성능을 향상시킨다. 우리는 3차원 나선(spiral) 예제를 통해 이 메커니즘을 드러내고, 점성 버거스(viscous Burgers) 및 피셔-KPP(Fisher-KPP) 동역학을 포함한 비선형 편미분방정식(nonlinear partial differential equation)에서 그 이점을 입증한다. 또한 우리는 범위 내 학습(in-span learning)이 문맥 내 학습(in-context learning)의 동역학 시스템적 유사물(analogue)로 해석될 수 있는지를 논의한다. 더 넓게 보면, 범위 내 학습은 계산 과학(computational science)을 위한 새로운 원리를 시사하며, 모델이 생성한 궤적이 이전에 인식된 것보다 더 많은 활용 가능한 정보를 담고 있음을 보여준다.
본 연구는 해를 물리 정보 무작위 투영 신경망(PI-RPNN)이 생성하는 함수 공간에서 구하고, 배치(collocation) 방식으로 이산화하는 비선형 편미분방정식(PDE)의 안정성 및 분기 분석을 위한 수치 프레임워크를 제시한다. 이들은 은닉층 가중치가 사전에 무작위로 샘플링되어 고정된 얕은 단일 은닉층 네트워크이며, 선형 출력층 가중치만 최적화하므로 학습이 단일 최소자승법 풀이로 �缩减된다. 이러한 선형 출력 구조는 정상해의 선형 안정성을 지배하는 명시적 일반화 고유값 형식을 가능하게 하여, 추가 학습 비용이나 추가 PDE 풀이 없이도 물리 영역 내부 동역학을 경계조건(BC)이 부과하는 대수적 제약과 분리한다. 그러나 무작위 투영 배치 행렬은 본질적으로 수치적으로 rank deficient하여, 단순한 고유값 계산이 신뢰할 수 없게 만들고 진짜 고유값 스펙트럼을 스퍼리어스(spurious) 근영 모드로 오염시킨다. 이 한계를 극복하기 위해, 수치적으로 rank deficient인 배치 행렬의 명시적 역행렬을 피하고 가중치 공간에서 직접 작동하는 matrix-free shift-invert Krylov-Arnoldi 방법을 도입하여, 선형 안정성을 결정하는 고유값 스펙트럼을 갖는 PDE 연산자의 이산화 Fréchet 도함수인 물리 야코비안의 선행 고유쌍 여러 개를 신뢰성 있게 계산할 수 있게 한다. 또한 PI-RPNN 기반 일반화 고유값 문제가 거의 확실하게 regular임을 증명하여 표준 고유값 솔버로의 solvability를 보장하고, 해석적 활성화 함수에 대해 무작위 투영 배치 행렬의 특이값이 지수적으로 감쇠함을 증명하여 관측된 ill-conditioning을 엄밀히 설명한다.
본 논문은 분산/연합(federated) 환경에서 대규모 선형 방정식계를 풀는 문제를 다룬다. taskmaster는 각 기계가 방정식의 일부를 보유한 여러 기계의 도움으로 방정식계를 푼다. 이 문제에 대한 여러 해법이 존재하지만, 주요 알고리즘 클래스—투영 기반(projection-based) 방법과 최적화 기반(optimization-based) 방법—의 수렴(convergence)률에 대한 근본적 이해와 엄밀한 비교는 아직 부족하다. 본 연구는 이 두 클래스에 대한 최초의 포괄적 분석과 비교를 제공하며, 각 클래스에서 가장 빠른 대표 방법인 Accelerated Projection-Based Consensus(APC)와 Distributed Heavy-Ball Method에 특히 초점을 맞춘다. 각 이질성(angular heterogeneity)이라는 새로운 데이터 이질성 개념을 도입하고 그 중요성을 논의한다. 이 개념을 이용해 관심 알고리즘들의 최적 수렴률을 특성화·비교하고, 기계 수, 방정식 수, 기계 간 및 로컬 데이터 이질성이 이러한 수렴률에 미치는 영향을 포착한다. 본 분석은 데이터 이질성이 큰 경우가 많은 현실적 시나리오에서 APC의 우수한 성능이 이전에 관측된 이유를 밝히고, 각 이질성이 서로 다른 알고리즘의 효율에 미치는 영향에 대한 여러 통찰을 제공한다. 또한 각 이질성 지표를 효율적으로 계산하는 분산 알고리즘을 제시한다. 마지막으로, 이 조사의 부산물로, 열(full column rank)을 갖는 임의 행렬의 조건수(condition number)에 대해 그 열의 유클리드 노름과 열 사이 각도로 표현한 tight bound를 얻는다. 수치 분석은 이론 결과를 검증하며, 고이질성 영역에서 APC의 예측된 이점을 뒷받침하고 각 이질성이 수렴률에 미치는 영향에 대한 더 깊은 이해를 제공한다.
베이지안 필터링과 스무딩은 비선형 동역학 시스템에서 데이터 동화(data assimilation)의 핵심이다. 딥 생성 모델의 최근 발전은 관련 비가우스 사후 분포에 대한 유연한 근사를 제공한다. 그러나 기존 접근법 중 상당수는 각 동화 단계마다 score를 재추정하거나 수송 맵(transport map)을 새로 구성해야 한다. 본 논문은 관측 시퀀스와 동화 시각 전반에 걸쳐 학습된 조건부 모델을 재사용하는 필터링·스무딩용 상각(amortized) 프레임워크를 제안한다. 이 프레임워크는 시뮬레이션된 상태·관측 궤적로부터 공유 순환 요약 네트워크와 두 개의 조건부 정규화 흐름(normalizing flow)을 공동 학습한다. 순환 네트워크는 각 관측 이력을 고정 차원 요약으로 표현하며, 이 요약은 필터링 근사를 조건화하고 다음 상태와 함께 후방 전이 근사를 조건화한다. 정보 이론적 분석은 마르코프 가정 하에서 필터링에 충분한 요약이 후방 커널(backward kernel)에도 충분함을 보인다. 말단 필터링 근사와 후방 커널을 결합하면 근사적인 결합 스무딩 분포를 얻을 수 있다. 이동-확산(advection-diffusion), Burgers, Lorenz 시스템에 대한 수치 실험은 제안 필터링·스무딩 근사의 정확도를 보여 주고, 학습 지평선을 넘어서는 오차의 진화를 특성화한다.
현대 심층 학습(deep learning)에서 널리 사용되는 구조적 패턴 중 하나는 선형 인수분해 블록(linear factorization block)입니다. 이는 중간에 비선형성이 개입하지 않고 두 매개변수(parameter) 행렬이 직접 곱해지는 $W = BA$ 형태의 서브모듈입니다. 이러한 블록은 LoRA 어댑터, 저랭크 압축 레이어, 셀프 어텐션(self-attention)의 쿼리-키 곱 등에서 나타나며 공통적인 병리적 문제를 공유합니다. 바로 인수분해가 유일하지 않다는 점이며, 이는 학습(training)을 불안정하게 만들고 사용 가능한 학습률(learning rate)을 제한할 수 있습니다. 그럼에도 불구하고, 인수분해 블록은 일반적으로 기본 기하학적 구조를 무시하는 표준 유클리드 방법으로 최적화(optimization)됩니다. 본 논문에서는 이러한 블록이 나타나는 모든 곳에서 AdamW를 거의 그대로 대체하여 사용할 수 있는 Stiefel-AdamW를 소개합니다. 한쪽 인수를 스티펠 다양체(Stiefel manifold)로 제약하고 다른 쪽 인수는 유클리드 공간에 둠으로써, Stiefel-AdamW는 전체 $\mathrm{GL}(\mathbb{R}^r)$ 게이지 대칭성을 컴팩트한 직교 대칭성으로 완화하여 인수 폭주(factor blow-up)를 방지하는 동시에 AdamW의 실질적인 강점인 좌표별 대각 프리컨디셔닝을 유지합니다. 모멘트 추정은 주변 유클리드 공간에서 수행되며, 기하학적 구조는 접공간 투영(tangent-space projection)과 다양체 리트랙션(retraction)을 통해서만 반영됩니다. AdamW 대비 구현 오버헤드는 최소화되며, 이를 통해 생성된 옵티마이저(optimizer)가 리만 방법의 안정성 이점과 표준 수렴(convergence) 보장을 모두 상속함을 보여줍니다. GPT2, ViT, Mistral 7B의 LoRA 스타일 미세조정(fine-tuning)과 OpenWebText에서의 GPT2 전체 사전학습(pre-training)을 통해 Stiefel-AdamW를 검증하였으며, AdamW 대비 사실상 추가 비용 없이 강력한 베이스라인에 걸쳐 일관된 성능 향상을 보임을 입증합니다.
본 논문은 후회를 최소화하는 알고리즘을 고정점 반복법으로 바꾸는 변환 체계를 제안하며, 수렴에 대한 보장은 후회 상한에서 도출된다. 이렇게 얻은 반복법은 고전적인 Krasnoselskii--Mann 반복법의 포괄적 확장으로 볼 수 있고, 후자는 온라인 경사하강법(Online Gradient Descent) 알고리즘을 변환함으로써 되살려진다. 이 접근법은 비자기(non-self) 연산자의 고정점을 구하는 새로운 단순 반복법을 제공한다. 또한 후회 최소화기의 AdaGrad 계열 알고리즘 변환에 초점을 맞추어, 새로운 유형의 적응적 보장을 갖는 고정점 반복법을 얻는다. 여러 문제에 대한 수치 실험은 AdaGrad 기반 고정점 반복법이 Krasnoselskii--Mann 반복법보다 더 빠르게 수렴함을 보여 준다.
우리는 준정상(quasi-stationary) 평균장 게임(Mean Field Games)에 기반한 진화적 클러스터링을 위한 제어 이론적 프레임워크를 제안한다. 각 클러스터는 확률 밀도로 표현되며, 그 진화는 Fokker--Planck 방정식에 의해 지배되고, 관련 속도장은 정상(stationary) Hamilton--Jacobi 방정식을 통해 결정된다. 일반적 formulation은 성분(component) 개수가 고정되어 있음에도 불구하고, 성분 밀도에 대해 유한차원 통계적 형태를 미리 규정하지 않는다. Gaussian 특수화(specialization)에서는 적절한 아핀(affine) dynamics가 고전적 Expectation--Maximization(EM) 절차가 생성하는 평균과 공분산 궤적을 재현함을 보인다. 노이즈와 일시적 클러스터 중첩(overlap)이 있는 경우 시간적 일관성(temporal coherence)을 개선하기 위해, 인과적(causal) 및 비인과적(non-causal) 시간 평균 log-가능도 목적함수를 도입한다. 또한 비-Gaussian 성분을 위한 완전 밀도 기반(density-based) 수치 구현을 개발한다. 제안된 formulation은 합성 및 실제 시간 의존(time-dependent) 데이터셋에서 평가되며, 독립 스냅샷 Expectation--Maximization 및 시간적으로 평활화(smoothed)된 관측에 동일 방법을 적용한 경우와 비교된다. 2차원 벤치마크(benchmark)에서는 확립된 진화적 \(k\)-means 방법도 외부 동적 클러스터링 기준선으로 포함된다.
Kakade의 자연 정책 그래디언트 방법은 최근 몇 년간 광범위하게 연구되어 왔으며, 정규화의 유무와 관계없이 선형 수렴을 보인다. 우리는 상태-행동 분포의 Fisher 정보 행렬에 기반한 또 다른 자연 그래디언트 방법을 연구하는데, 이 방법은 이론적 측면에서 거의 주목받지 못했다. 여기서 상태-행동 분포는 선형 포텐셜에 대해 상태-행동 다면체 내부에서 Fisher-Rao 그래디언트 흐름을 따른다. 따라서 우리는 더 일반적으로 선형 계획의 Fisher-Rao 그래디언트 흐름을 연구하고, 선형 계획의 기하에 의존하는 속도로 선형 수렴함을 보인다. 동치적으로, 이는 선형 계획의 엔트로피 정규화에 의해 유발되는 오차에 대한 추정을 제공하며, 기존 결과를 개선한다. 우리는 이러한 결과를 확장하여, 근사 오차까지 교란된 Fisher-Rao 그래디언트 흐름과 자연 그래디언트 흐름에 대해 아선형 수렴을 보인다. 특히, 이러한 일반적인 결과는 상태-행동 자연 정책 그래디언트의 경우를 포함한다.
본 논문은 연산자 학습(operator learning)과 샘플링용 플로(flow) 방법을 결합한 상각(amortized) 신경망 샘플러를 제안한다. 이 샘플러는 SDE(확률미분방정식) 계수 함수를 참조 측도(reference measure)에서 불변 측도(invariant measure)로 가는 푸시포워드(pushforward)에 대응시켜, 여러 확률미분방정식 계열 전반에 걸쳐 효율적인 샘플링을 가능하게 한다. 이 프레임워크는 기존 샘플링 비용을 초기 학습 단계로 옮겨, 이후 새로운 SDE 인스턴스에는 혼합 시간(mixing time)과 무관하게 인코더 패스 한 번과 몇 번의 ODE 솔버 스텝만 필요하도록 한다. 고차원 문제를 다루기 위해 계수 함수에 대한 라그랑주 궤적 센서(Lagrangian trajectory sensor)와 아키텍처 내 교차 어텐션(cross attention)을 사용한다. 또한 이 프레임워크의 표현력(expressivity)과 해상도 불변성(resolution invariance)을 이론적으로 증명한다. 1차원 및 2차원 SDE 계열에 대한 실험에서, 혼합이 느린 영역에서 MCMC 대비 상당한 속도 향상과 함께 경쟁력 있는 정확도를 보였으며, 센서 수가 달라져도 전이가 가능함을 확인했다. 또한 전통적인 격자 기반 접근이 불가능한 64차원 상호작용 입자 SDE에 대한 시연 결과도 제시한다.
이질적 고체에서의 응력 국소화는 이종 재료 계면에 의해 좌우되며, 이 계면에서 변위장은 $C^0$ 연속성을 유지하는 반면 면내 응력은 강성 불일치로 인해 불연속적으로 변한다. 좌표 기반 물리 정보 신경망(PINN)은 이러한 불연속을 미리 정한 정규화 폭이나 가중 계면 페널티를 통해 표현하므로, 상(phase) 간 대비 변화를 어떻게 다루느냐에 따라 정확도가 민감하게 달라진다. 본 연구는 이질성을 시행 함수(trial field)가 아닌 이산화(discretization)가 담당하도록 한, 변분 방식의 레이블이 필요 없는(label-free) 물리 정보 그래프 신경망(PI-GNN)을 제안한다. 이 솔버는 적합(conforming) 적응형 메시 그래프 위에서 동작하며, 요소별로 구성 방정식(constitutive) 거동을 할당하고, 1차 도함수만 등장하는 단일 무가중 목적 함수로서 이산 총 퍼텐셜 에너지를 최소화한다. 구간별 선형 요소에서의 이산 에너지는 유한요소(FE) Ritz 범함수와 일치한다. 디리클레 조건은 페널티 항, 계면 가중치, 사전 지정된 전이 폭 없이 구성 방식으로 직접 부과된다. 2차원과 3차원의 미소 변형 탄성 및 유한 변형 Neo-Hookean 초탄성 문제 전반에 걸쳐 하나의 고정된 아키텍처, 옵티마이저, 손실을 사용했을 때, 강성비 $(E_{\mathrm{inc}}/E_{\mathrm{mat}}\in[10^{-2},10^{2}])$ 범위를 훑는 실험에서 von Mises 오차는 $3.58\%$ 이하로 유지된 반면, 강형식(strong-form) PINN은 $5.58\%$까지 나빠졌다. 변위 오차 역시 PINN은 $7.66\%$에 달했으나 PI-GNN은 $0.49\%$였다. 학습된 네트워크는 에너지 기반 PINN 대비 ($σ_{xx}$) 오차를 절반으로 줄였다($5.01\%$ 대 $10.94\%$). 학습 비용은 단일 FE 풀이보다 한 자릿수 이상 크므로, 이 구성은 일회성 FE 해석을 대체하기보다는 매개변수 대리 모델(surrogate)과 역 식별(inverse identification)을 위한, 변분적으로 일관되고 페널티가 없는 계면 표현 방식이다.
알려진 또는 학습된 동역학을 갖는 고차원 1차 Hamilton–Jacobi–Bellman (HJB) 방정식에 대해 신경 반이산(semi-discrete) 방법을 분석한다. 중심 차분과 인공 점성(artificial viscosity) $Nh=O(h)$가 $2d+1$번의 이동(shift)된 네트워크 질의로 평가되는 단조 연산자를 정의하며, 정책 반복(policy iteration)은 텐서 격자 없이由此 Bellman 방정식을 푼다. $h$가 고정일 때, 날카로운 성분별 조건 $\max_i|f_i|\le2N$은 모든 동결(frozen) 정책 연산자를 정책과 무관한 총 점프율을 갖는 최근접 이웃(nearest-neighbor) 마르kov 연쇄 생성자로 만든다. 균일화(uniformization)는 가측 가능(measurable) 피드백에 대한 전공간 적절성(well-posedness), 수치적 의존 영역(domain of dependence)에 대한 명시적 Poisson 꼬리(poisson-tail) 상界, 및 경계 없는 국소화(localization)를 제공한다. 이 표현은 또한 잔차와 학습된 모델 오차를 반영하는 사후(a posteriori) 정책 평가 상界를 제공한다. 탐욕적 간격(greedy-gap) 분석은 고정 $h$에서의 비정확(inexact) 정책 반복을 제어하며, 별도의 일치성(consistency) 추정은 반이산 방정식을 연속 HJB 방정식과 연결한다. 실험은 극값 꼬리(extremal tail)를 재현하고, $O(\sqrt h)$와 일치하는 수렴률과 거의 $h$에 무관한 정확 정책 반복 감쇠를 보이며, 경험적 추정량의 유효성(effectivity)을 평가한다. 비매끄(nonsmooth) 예는 연속 잔차가 점성(viscosity) 해가 아닌 해를 놓칠 수 있으나, 이동된 잔차는 결함을 감지함을 보여준다. 추가 실험은 구조화된 구간 검증(interval-verified) 인증서 보정, bang-bang 제어에서 정책 동결의 초기 예산 이점, 및 학습된 동역학 진단을 제공한다. 능동 compact-control 제약이 있는 구조화된 비선형 문제를 제조(manufactured) 반이산 기준과 대해 $d=1024$까지 검증한다.
고전 데이터 샘플로부터 양자 채널을 재구성하는 문제를 고려한다. 총 충실도가 두 이차 형식의 비율로 표현될 수 있는 경우(예: 혼합 상태를 순수 상태로 사상하는 경우, 투영 연산자, 유니터리 학습 등)에는 Choi 행렬에 대한 충실도 최적화 문제를 풀기 위해 반정부호 프로그래밍(SDP)을 적용할 수 있다. SDP의 주목할 만한 특징은 최적화가 볼록하다는 것으로, 이에 따라 다양한 수치 알고리즘으로 문제를 효율적으로 풀 수 있다. 우리는 여러 상용 SDP 솔버를 시험했으며, 모두 서로 다른 형태의 양자 채널 재구성을 가능하게 했다. 주목할 만한 특징은, 얻어진 양자 채널의 Kraus rank가 일반적으로 최대 가능값의 몇 퍼센트 미만을 차지한다는 것이다. 이는 상대적으로 작은 Kraus rank를 갖는 양자 채널로도 실험적으로 관측된 고전 데이터를 설명하기에 일반적으로 충분함을 시사한다. 이 이론은 데이터로부터 투영 연산자를 재구성하는 문제에도 적용되었다. 마지막으로, 고전 컴퓨터에서 수행·계산되는 양자 채널 변환에 기반한 고전 계산 모델을, 필요 시 하드웨어 최적화와 함께 논의한다.
본 논문에서는 자율 흐름 기반 생성(autonomous-flow-based generation)을 사용하여 큐브 상에 정의된 방향 보존 미분동형사상(orientation-preserving diffeomorphism)을 $P$개의 파라미터를 갖는 신경망 상미분방정식(Neural ODE)을 통해 $\mathcal{O}(P^{-1/d})$의 속도로 보편 근사할 수 있음을 보인다. 반면, 단일 자율 흐름만을 사용할 경우 $d \ge 2$ 차원의 큐브 상에서 Neural ODE 클래스는 조밀한 곳이 없는 집합(nowhere dense)임을 보인다. $(0,1)^d$ 상에서의 콤팩트 지지$_\mathrm{id}$(compact-support$_\mathrm{id}$) 조건 하에서, 자율 흐름 기반 생성을 사용할 경우 임의의 차원에 대해 $(0,1)^d$ 상의 콤팩트 지지$_\mathrm{id}$ 미분동형사상을 $P$개 파라미터로 $\mathcal{O}((\frac{P}{\log P})^{-2/d})$의 속도로, 그리고 $d \geq 5$ 차원에서 $(0,1)^d$ 상의 콤팩트 지지$_\mathrm{id}$ 위상동형사상(homeomorphism)을 $P$개 파라미터로 $\mathcal{O}(P^{-1/(d+1)})$의 속도 및 동일한 지지$_\mathrm{id}$(support$_\mathrm{id}$)를 갖는 최대 $I_d$개의 자율 Neural ODE 합성으로 보편 근사할 수 있음을 보이며, 여기서 $I_d$는 차원에만 의존한다. 또한, $d\ge 2$일 때 $(0,1)^d$ 상에서 콤팩트 지지$_\mathrm{id}$를 갖는 단일 자율 흐름 클래스는 $(0,1)^d$ 상의 콤팩트 지지$_\mathrm{id}$ 위상동형사상 공간에서 빈약한 집합(meagre)임을 보인다. 정의역을 1차원 더 높은 차원으로 선형 리프팅(lifting)함으로써, $(0,1)^d$ 상에 콤팩트하게 지지되는 립시츠 함수(Lipschitz function)에 대해 $P$개의 파라미터로 $\mathcal{O}(P^{-1/(d+1)})$의 속도를 갖는 보편 근사 결과를 도출한다.
확산 추정, 랭킹, 준지도 학습, 네트워크 최적화와 같은 그래프 데이터 워크로드는 동일한 계수 행렬을 갖는 다수의 라플라시안(Laplacian) 또는 대칭 대각 우세 M-행렬(SDDM) 시스템을 푸는 경우가 많다. 근사 콜레스키(Approximate Cholesky) 전처리기는 정점을 한 번에 하나씩 소거하고, 그 결과로 얻어지는 희소 근사 분해인 \emph{팩터(factor)}를 저장하며, 이 팩터의 구성 비용은 여러 번의 풀이에 걸쳐 분할 상환된다. 그러나 정점, 즉 \emph{피벗(pivot)}을 소거하면 그 피벗의 $d$개 활성 이웃 사이에 조밀한 슈어 보수(Schur-complement) 클리크가 생성된다. 본 논문은 이 클리크를 그로부터 직접 샘플링한 가중 랜덤 신장 트리(weighted random spanning tree)로 대체하는 CAST(Canonical Approximate Schur Tree)를 제안한다. 모든 실현(realization)은 연결되어 있으며 정확히 d-1개의 간선을 포함하고, 선택된 각 간선을 해당 간선의 트리 포함 확률의 역수로 재가중하면 갱신이 불편(unbiased)이 된다. 이 분포는 피벗 이웃의 순서와 무관하며, 우리는 그 레버리지 점수(leverage-score) 주변 확률이 역주변확률(inverse-marginal) 기반의 불편 단일 트리 추정량들 중에서 정규화된 재가중 간선 기여도의 최댓값을 최소화함을 증명한다. 또한 CAST-$ρ$도 제안한다. 이는 각 피벗 이웃을 $ρ$개의 복사본으로 대체하되 각 복사본이 해당 이웃의 인접 가중치(weight)의 $1/ρ$만큼을 갖게 하고, 확장된 클리크 위에서 가중 랜덤 신장 트리를 샘플링한 뒤, 복사본들을 다시 원래의 이웃으로 수축(contract)하는 방식이다. 그 결과로 얻는 갱신은 여전히 불편이며 연결되어 있고, $O(ρd)$ 시간에 정확히 샘플링할 수 있으며, 정규화된 국소 슈어 오차의 2차 모멘트에 대해 $1/ρ$ 상한을 만족한다. 따라서 $ρ$를 늘리면 보증된 국소 샘플링 변동성은 감소하지만, 구성 비용과 이후의 필-인(fill)은 증가할 수 있다. 실험적으로, CAST-1이 더 빠른 기본 선택이며, CAST-2는 추가되는 간선 기여도의 비용이 크지 않을 때 더 바람직함을 관찰하였다.
본 모노그래프는 양의 정부호 커널(positive definite kernel)을 사용하는 두 가지 접근 방식, 즉 가우시안 프로세스(Gaussian process)를 활용하는 확률론적 방법과 재생핵 힐베르트 공간(RKHS, reproducing kernel Hilbert space)을 활용하는 비확률론적 방법 간의 관계를 연구합니다. 이 두 접근 방식은 머신러닝, 통계학, 수치해석학 분야에서 널리 연구되고 사용됩니다. 본 연구에서는 회귀(regression), 보간(interpolation), 수치 적분(numerical integration), 분포 간 차이(distributional discrepancy), 통계적 의존성(statistical dependence)과 같은 기초적 주제에 대한 연결점과 동치성뿐만 아니라 가우시안 프로세스의 샘플 경로 특성도 다룹니다. 가우시안 힐베르트 공간과 RKHS 간의 동치성을 바탕으로 이러한 동치성에 대한 통합된 관점을 확립합니다. 본 모노그래프는 두 연구 커뮤니티에서 병렬적으로 발전해 온 가우시안 프로세스 및 재생 커널 기반의 수많은 다른 방법들을 잇는 가교 역할을 제공합니다.
DIRECT 알고리즘은 다목적성과 균형 잡힌 탐험(exploration)-활용(exploitation) 전략으로 알려진 결정론적 전역 최적화 방법이다. 그러나 DIRECT 유형 알고리즘은 주로 저차원 문제에서 효과적이며, 차원이 증가함에 따라 수렴(convergence)이 느려지는 경우가 많아 더 복잡한 최적화 과제에 대한 적용성이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 동적 분할(dynamic partitioning)과 하이브리드화(hybridization) 기법을 결합한 새로운 DIRECT 유형 알고리즘인 X-DTC-GL을 제안한다. 동적 분할 방식은 국소 1차원 대리 모델(surrogate model)을 기반으로 탐색 공간을 적응적으로 세분화하여, 유망한 초직육면체(hyper-rectangle)를 빠르게 분할할 수 있게 한다. 하이브리드화 전략은 대리 모델이 식별한 유망 영역을 활용하기 위해 언덕 오르기(hill-climbing) 방법을 선택적으로 사용한다. 서로 다른 네 가지 벤치마크 스위트에 대한 광범위한 실험 결과, X-DTC-GL은 기존 DIRECT 유형 베이스라인을 크게 능가하여 해결 가능성(solvability)에서 약 12%, 해의 품질에서 약 27%의 향상을 달성했다. 성능 프로파일(performance-profile) 분석에 따르면, 최대 약 40%의 인스턴스에서 가장 빠른 수렴을 보였고, 약 17%의 문제에서 최고의 실행 시간 성능을 기록했으며, 전체 실행 시간 또한 경쟁력을 갖추었다. 이러한 발전은 분할 기반 프레임워크 내에서 성능을 개선함으로써, 최첨단 블랙박스 최적화 분야에서 이 알고리즘의 경쟁력을 강화한다.
양자 상태 토모그래피는 측정 데이터로부터 양자 시스템의 상태를 추정하는 기본 기법이며, 양자 장치 성능 평가에 핵심적인 역할을 한다. 그러나 양자 상태를 기술하는 밀도 행렬이 큐비트 수에 따라 지수적으로 커지기 때문에, 시스템 크기가 커질수록 표준 추정 방법은 계산적으로 실행이 불가능해진다. 우리는 블록 텐서 트레인(Block-TT) 인수분해에 기반한 혼합 상태 양자 상태 토모그래피를 위한 저랭크 텐서 네트워크 프레임워크를 제안한다. 구체적으로, 밀도 행렬은 Block-TT와 그 에르미트(Hermitian) 전치의 수축(contraction)으로 표현되며, 이는 Burer-Monteiro 인수분해의 TT 아날로그를 제공한다. 이 매개변수화는 구조적으로 에르미트성과 양의 준정부호성(positive semidefiniteness)을 보장하면서, 최적화 변수의 수를 큐비트 수에 대해 지수적에서 선형으로 압축한다. 이 표현을 바탕으로, 압축된 측정으로부터 양자 상태를 추정하기 위한 단일-사이트(single-site) 및 이-사이트(two-site) 밀도 행렬 재정규화군(DMRG) 알고리즘을 개발한다. 결과 방법은 압축 매개변수화 위에서 직접 동작하며, 적응적 랭크 정제(rank refinement)를 지원하고, 기대값(expectation-value) 계산을 위해 효율적인 텐서 네트워크 수축을 활용한다. 이 프레임워크는 순수 상태, 거의 순수 상태, 정확한 텐서 네트워크 근사가 가능한 기저 상태(ground state)를 포함하는 넓은 클래스의 저랭크 양자 상태에 적용 가능하다. 수치 실험은 제한된 측정으로부터의 정확한 상태 복원과, 기존 저랭크 토모그래피 방법 대비 메모리 요구량 및 계산 비용의 상당한 절감을 보여준다.
고정비용 네트워크 플로우 문제(fixed-charge network flow problem, FCNFP)는 연속적인 플로우 할당과 이산적인 아크 활성화 결정을 결합한 문제로, 다양한 네트워크 설계 및 자원 할당 문제를 대표하지만 계산적으로 풀기 어려운 모델이다. 정확한 혼합 정수 선형 계획법(MILP) 정식화는 고정비용 구조를 충실하게 표현하지만, 대규모 네트워크에서는 풀기 어려워지는 경우가 많다. 본 논문에서는 반복 재가중 최소제곱(iteratively reweighted least-squares, IRLS) 프레임워크에 기반하여 대규모 단일 상품 FCNFP를 위한 확장 가능한 연속 최적화 알고리즘을 제안한다. 이 방법은 불연속적인 고정비용 및 선형 아크 비용 목적함수를 매끄러운 비볼록 Lasry--Lions 대리 함수(surrogate)로 대체하고, 일련의 가중 이차 플로우 부문제를 푼다. 각 부문제는 웜 스타트(warm-start)를 적용한 쌍대 준매끄러운(semismooth) 뉴턴 방법으로 풀며, 이때 뉴턴 시스템은 가중 그래프 라플라시안(graph-Laplacian) 구조를 가지므로 최신 라플라시안 솔버를 활용할 수 있다. 근본적으로 어려운 조합 최적화 문제에서 발견되는 아크 서포트(support)를 더욱 개선하기 위해, 목적함수 기반 섭동 재시작(objective-driven perturbation restarts)과 앵커 합집합 제한 탐색(anchor-union restricted search)을 결합한 알고리즘 변형도 개발한다. 이 변형은 IRLS가 발견한 서포트와 상호 보완적인 FCNFP 휴리스틱이 발견한 서포트를 함께 활용한다. 410개의 벤치마크, 합성, 대규모 인스턴스에 대한 계산 실험 결과, 제안 방법은 평가된 확장 가능한 FCNFP 알고리즘 중 가장 우수한 목적함수 품질을 얻었으며, 시간 제한이 있는 MILP 기준 해 대비 평균 격차는 $1.316\%$, 비(非)MILP 방법 중 승리 또는 동률 비율은 $90.0\%$였다. 이러한 결과는 매끄러운 연속 최적화와 서포트 수준 탐색을 결합하는 것이 대규모 FCNFP에 대해 고품질 실행 가능해를 만들어내는 효과적인 전략임을 보여준다.
신경 연산자(Neural operator, NO)는 편미분방정식의 해 연산자(solution operator)를 학습하도록 설계된 강력한 심층 학습 프레임워크이다. 본 연구는 NO가 FitzHugh-Nagumo 모델의 stiff한 시공간(spatio-temporal) 역학을 포착하는 능력을 평가한다. 본 연구의 핵심 기여는 새로운 학습 전략을 이용한 평행이동 불변성(translation invariance) 평가이다. 모델은 고정된 시각에서 공간적 위치와 강도가 서로 다른 인가 전류(applied current)로 학습되며, 테스트 데이터셋은 전류가 시간과 공간 모두에서 평행이동된 도전적인 분포 밖(out-of-distribution) 시나리오를 제시한다. 이 접근법은 데이터셋 생성 비용을 크게 줄인다. 우리는 일곱 가지 NO 아키텍처를 벤치마크한다: Convolutional Neural Operators(CNO), Deep Operator Networks(DeepONet), CNN 인코더를 갖춘 DeepONet, Proper Orthogonal Decomposition DeepONet, Fourier Neural Operators(FNO), Tucker Tensorized FNO, Local Neural Operators. 이 모델들을 정확도, 효율성, 추론 속도를 기준으로 평가했다. 결과는 CNO가 평행이동된 테스트 역학에 잘 일반화하는 반면, 다른 아키텍처는 잘 일반화하지 못함을 보여준다. 학습 데이터셋에서는 모든 아키텍처가 비슷한 정확도를 달성하며, FNO가 가장 높은 정밀도를 보였다. 그러나 이러한 더 높은 정확도는 계산 비용 증가라는 대가를 동반한다. 한편 DeepONet과 그 변형들은 학습 및 추론 효율이 우수하다. 이러한 결과는 복잡한 이온 역학(ionic dynamics)을 모델링할 때 NO의 능력과 한계를 부각하며, 평행이동된 역학이 관여하는 시나리오에 대한 포괄적인 벤치마크를 제공한다.