PyTorchKR Papers

최신 논문

총 448편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2601.21243v5math.OC

비평활 서브모듈러-오목 함수의 오프라인 및 온라인 최소-최대 문제 해결: 영차(Zeroth-Order) 접근법

Solving the Offline and Online Min-Max Problem of Non-smooth Submodular-Concave Functions: A Zeroth-Order Approach

우리는 최소화 변수에 대해 서브모듈러(submodular)이고 최대화 변수에 대해 오목(concave)이며, 비평활(non-smooth)할 수 있는 목적 함수를 갖는 최대-최소(max-min) 및 최소-최대(min-max) 문제를 고려한다. 우리는 이 문제에 적용된 영차(zeroth-order) 방법의 성능을 조사한다. 이 방법은 최소화 변수에 대한 목적 함수의 로바스 확장(Lovász extension)의 서브그래디언트(subgradient)와, 최대화 변수에 대한 평활화된 함수의 그래디언트(gradient)를 추정하기 위한 가우시안 스무딩(Gaussian smoothing)에 기반한다. 기댓값의 의미에서, 우리는 오프라인의 경우 알고리즘이 ε-안장점(saddle point)으로 수렴(convergence)함을 증명한다. 더 나아가, 우리는 온라인 설정에서 기댓값의 의미로 알고리즘이 $O(\sqrt{N(1+\bar{P}_N)})$의 온라인 듀얼리티 갭(duality gap)을 달성함을 보인다. 여기서 $N$은 반복 횟수이고 $\bar{P}_N$은 최적 결정 시퀀스의 경로 길이(path length)이다. 모든 경우에 대한 복잡도 분석과 하이퍼파라미터(hyperparameter) 선택이 제시된다. 이론적 결과는 수치 예제를 통해 설명된다.

arXiv:2610.10278v1math.NA

바서슈타인-피셔-라오 JKO 스킴 기반 재가중 정규화 흐름을 활용한 신경 샘플링

Neural Sampling with Reweighted Normalizing Flows via the Wasserstein--Fisher--Rao JKO Scheme

본 논문에서는 비정규화 볼츠만 밀도(unnormalized Boltzmann density)로 지정된 분포로부터 샘플링하기 위한 신경 알고리즘을 제안합니다. 제안하는 접근법은 바서슈타인-피셔-라오 기하학(Wasserstein--Fisher--Rao geometry)에서 쿨백-라이블러 발산(Kullback--Leibler divergence)에 대한 조던-킨더렐러-오토 스킴(WFR JKO scheme)에 기반합니다. 본 연구의 기여는 크게 두 가지입니다. 첫째, 임의의 고정된 보폭(step size)에 대해, 반복 횟수가 무한대로 향함에 따라 정확한 WFR JKO 반복이 타깃 분포로 지수적으로 빠르게 수렴함을 증명합니다. 특히, 이 결과는 로그-오목성(log-concavity)이나 로그 소볼레프 부등식(logarithmic Sobolev inequality)과 같은 타깃에 대한 어떠한 구조적 가정도 요구하지 않습니다. 둘째, 재가중 정규화 흐름(reweighted normalizing flow)을 사용하여 이동(transport) 및 반응(reaction) 요소를 매개변수화하는 WFR JKO 스킴의 신경망 구현을 개발합니다. 까다로운 다봉(multimodal) 타깃에 대한 수치 실험은 제안된 방법의 유망한 성능을 입증합니다.

arXiv:2610.10105v1cs.LG

CAFE+FNO: 곱셈적 특징 구성을 통한 푸리에 커널 생성

CAFE+FNO: Fourier Kernel Generation via Multiplicative Feature Composition

푸리에 신경 연산자(FNO)는 푸리에 공간 커널 매개변수화를 통해 편미분 방정식(PDE)의 해 연산자를 학습하지만, 주파수 절단(frequency truncation)으로 인해 고주파 변동의 학습이 제한될 수 있습니다. AM-FNO와 SirenFNO는 공유 네트워크를 사용하여 스펙트럼 좌표로부터 모든 그리드 모드에 대한 커널을 생성하므로, 좌표 인코딩 및 생성기 설계가 중요해집니다. 암시적 신경 표현(INR)에 관한 최근 연구에서는 후속 MLP가 주파수 상호작용을 암시적으로 형성하도록 의존하기보다, 명시적인 특징 구성을 통해 이를 구축하는 방식을 제안했습니다. 이러한 접근법을 바탕으로, 본 논문에서는 푸리에 커널 생성에 Content-Aware Frequency Encoding+(CAFE+)를 통합한 CAFE+FNO를 제안합니다. CAFE+는 병렬 아핀 브랜치와 아다마르 곱(Hadamard product)을 통해 푸리에-체비쇼프(Fourier--Chebyshev) 특징을 결합하여 두 특징군 내부 및 상호 간의 상호작용을 형성합니다. 커널 MLP는 정규화된 각 스펙트럼 좌표의 결과 표현을 복소 채널 혼합 행렬에 매핑합니다. 각 층은 저장된 모든 모드에 걸쳐 생성기를 공유하므로, 고정된 아키텍처에서 학습 가능한 매개변수 수가 모드 수와 무관해집니다. 다섯 가지 PDE 벤치마크에서 CAFE+FNO를 기존 FNO 변형들과 비교하고 기저 구성, 곱셈적 구성, 대역폭 학습 가능성에 대한 소거 연구(ablation study)를 수행합니다. 코드 및 실험 설정은 https://github.com/fabsk101/CAFEPlusFNO.git 에서 확인할 수 있습니다.

arXiv:2610.09510v1cs.LG

물리 정보 신경 가소성: 스스로 형태를 재구성하는 편미분방정식(PDE) 솔버

Physics-Informed Neural Plasticity: PDE Solvers That Reshape Themselves

물리 정보 신경망 기반 편미분방정식(PDE) 솔버는 지배 방정식을 만족하도록 매개변수를 조정하지만, 표현 구조(representational structure)는 일반적으로 학습(training) 전반에 걸쳐 고정된 상태로 유지됩니다. 이러한 경직성은 공간 및 시공간 전반에 걸쳐 복잡성이 매우 이질적인 PDE 해와 잘 맞지 않아, 물리가 복잡한 영역에서는 용량이 부족하고 단순한 영역에서는 용량이 낭비되는 문제를 초래합니다. 본 논문에서는 미해결된 물리 현상에 대응하여 최적화(optimization) 과정에서 표현 자체가 재구성되는 패러다임인 물리 정보 신경 가소성(physics-informed neural plasticity)을 제안합니다. 이 원리를 구체화하여, 국소 강화(local enrichment), 잔차 기반 분할(residual-directed splitting), 게이트 기반 가지치기(gate-based pruning), 함수 인식 병합(function-aware merging)을 통해 용량을 동적으로 재분배하는 가우시안 국소화 솔버인 ReCAP(Representation Capacity Adaptation for PDEs)을 구현했습니다. ReCAP은 책임도 가중 오차 지표와 잔차 에너지의 기하학적 구조를 활용하여 정제(refine)할 위치와 방식을 결정합니다. 분할로 인해 발생하는 교란을 제한하기 위해, 순시적 함수 섭동을 제어하면서 부모 표현을 전달하여 새로운 구성 요소를 초기화하는 'quiet-child' 정제 기법을 도입합니다. 나아가 국소화된 물리 잔차를 해의 오차 및 안정적인 정제와 연결하는 조건부 사후 신뢰성(a posteriori reliability) 및 구조적 안정성 보장을 확립합니다. 11개의 물리 정보 솔버와 비교한 5개의 고난도 3D 및 4D PDE 벤치마크(benchmark) 전반에서, ReCAP은 모든 문제에 대해 가장 낮은 상대 $L^2$ 오차를 달성하여 가장 우수한 경쟁 결과 대비 오차를 $10.7\%$--$27.5\%$ 감소시켰습니다. 이러한 결과는 물리 정보 솔버가 단순히 매개변수만 학습할 필요 없이, 표현 용량을 어떻게 구성해야 하는지까지 학습할 수 있음을 시사합니다.

arXiv:2610.09433v1cs.LG

열-기계적 균열 진전을 위한 확장 심층 에너지 방법

An extended deep energy method for thermo-mechanical crack propagation

열-기계적 파괴는 온도와 변위가 전개됨에 따라 성장하는 균열과 균열 영역에서의 비정상 열전도를 결합합니다. 신경망 에너지 솔버(neural energy solver)는 위상장(phase-field) 파괴를 위해 제안되었으며 이후 네트워크 입력을 통해 날카로운(sharp) 균열을 표현하도록 확장되었으나, 이러한 솔버에서 균열 영역에서의 열전도와 그에 따른 열응력 하에서의 균열 진전은 아직 함께 다루어지지 않았습니다. 본 연구에서는 균열이 날카로운 폴리라인(polyline) 형태로 유지되는 열-기계적 균열 진전을 위한 확장 심층 에너지 방법(extended deep energy method)을 제시합니다. 두 개의 네트워크가 온도와 변위를 각각 표현하며, 균열을 가로질러 불연속적이고 다른 곳에서는 매끄러운 스칼라 임베딩(embedding) 함수를 통해 균열 정보를 입력받아 정규화(regularization) 길이 없이도 두 장(field) 모두 균열을 가로질러 도약(jump)할 수 있도록 하고, 변위는 학습(training) 가능한 진폭을 갖는 윌리엄스 전개(Williams expansion)에 의해 균열 선단(tip) 부근에서 강화(enrich)됩니다. 두 장은 배경 요소(background element) 위에 층화되고 선단 부근에서 밀집되며 학습 중에 다시 추출되는 점들에서의 몬테카를로 적분을 통해, 증분 전도 범함수와 열탄성 위치 에너지를 시차적(staggered) 순서로 최소화함으로써 얻어집니다. 응력 확대 계수는 Wilson 및 Yu의 면적 항을 포함하는 상호작용 적분을 통해 추출되고 윤곽 반경 스윕을 통해 검증되며, 균열 선단 온도에서 꺾임(kink)의 에너지 방출률이 임계값에 도달할 때 최대 원주응력 각도로 균열이 전진합니다. 정지 상태의 열 가장자리 균열에서 추출된 응력 확대 계수는 기발표된 값과 0.11% 이내로 일치하고, 경사기능 전단 시험에서 균열 개시는 독립적인 날카로운 균열 유한요소 해와 단일 하중 스텝 이내로 일치하며, 노치가 있는 십자형 시편에서 균열 경로는 기계적, 열적 및 복합 하중 하에서 기발표된 해를 따릅니다.

arXiv:2609.05263v2math.NA

혼합 소볼레프 공간에서의 얕은 신경망 근사

Shallow neural network approximation in mixed Sobolev spaces

본 논문에서는 일반적인 활성화 함수와 $n$개의 뉴런을 갖는 얕은 신경망(shallow neural network)을 통한 혼합 소볼레프 공간(mixed Sobolev spaces)의 최적 $L_2$ 근사를 연구합니다. 먼저 활성화 함수와 무관한 푸리에 블록(Fourier-block) 원리를 확립합니다. 활성화 함수가 푸리에 블록 성질의 관점에서 일변량 근사 차수 $ρ$를 가진다면, 혼합 매끄러움(mixed smoothness) $α$를 갖는 대상 함수에 대한 전역 근사율은 명시적인 로그 인자를 제외하고 대수적 차수 $\min\{α,ρ\}$를 가집니다. 구체적인 활성화 함수에 대해 이 성질을 검증하기 위해, 명시적 매개변수를 갖는 푸리에 블록 성질을 함의하는 구조화된 일변량 근사 조건을 도입합니다. $\mathrm{ReLU}^k$의 경우, 일치하는 대수적 하계를 통해 상계의 로그 인자를 제외하고 임의의 차원에서 최적 대수적 근사 지수가 $\min\{α,k+1\}$임을 규명합니다. 또한 이 프레임워크는 기저 B-스플라인(cardinal B-splines) 및 soft-$\mathrm{ReLU}^k$에 대해서도 $\min\{α,k+1\}$ 지수를 도출하며, ELU 및 코사인 활성화 함수에 대해서는 다시 로그 인자를 제외하고 전체 혼합 매끄러움 지수 $α$를 도출합니다.

arXiv:2606.14289v3math.OC

개체군 기반 최적화를 위한 연산자 미적분학: 모듈형 수렴 및 유한 개체군 보장

Operator Calculus for Population-Based Optimization: Modular Convergence and Finite-Population Guarantees

개체군 기반(population-based) 옵티마이저는 변이(mutation), 선택(selection), 재조합(recombination)과 같은 업데이트 규칙들을 결합합니다. 한 규칙이 변경되면 기존의 수렴 보장 중 어떤 것이 유지되는지, 혹은 새로운 조합을 어떻게 평가해야 하는지 불분명한 경우가 많습니다. 본 논문에서는 연산자 미적분학(operator calculus)을 개발합니다. 여기서 연산자는 개체군 업데이트 규칙이며, 미적분학은 개별적으로 검증된 효과들을 결합하는 방법을 규정합니다. 명시적인 정칙성 및 미세 보폭(small-step) 조건 하에서 업데이트로 인한 주요 변화들이 더해지므로, 수렴 분석을 위한 재사용 가능한 구성 요소를 제공합니다. 이 프레임워크는 우수한 해를 찾아 유지하는 것, 개체군의 평균 목적 함수 값을 줄이는 것, 그리고 옵티마이저 주변으로 후보해들을 집중시키는 것을 구분하며, 유한한 평가 예산 보장에 필요한 추가적인 근사 조건을 규명합니다. 적용 분야로는 분포 적응, 재조합 진화, 합의 역학(consensus dynamics) 등이 있으며, 비볼록(nonconvex) 사례에서도 검증되었습니다. 일반적인 비볼록 문제 모음에 대한 통제된 실험을 통해 개체군 기하 구조 및 성능 척도에 따라 구성 요소 효과가 어떻게 변하는지 보여줍니다. 특정 규칙은 평균 목적 함수 값을 악화시키면서도 더 우수한 후보해를 생성할 수 있습니다.

arXiv:2509.08483v2cs.LG

모멘텀 경사하강법의 수정된 손실: 미세 입도 분석

Modified Loss of Momentum Gradient Descent: Fine-Grained Analysis

본 연구에서는 고정된 모멘텀(momentum) 하이퍼파라미터 $\beta\in (0, 1)$가 메모리의 지수적 감쇠를 제공하는 폴리아크(Polyak, 1964)의 헤비볼 모멘텀(HB) 경사하강법을 분석한다. Kovachki와 Stuart(2021)의 연구를 바탕으로, 스텝 크기 $h$가 충분히 작다면 지수적으로 끌어당기는 불변 다양체 위에서 이 알고리즘이 수정된 손실(loss)을 갖는 순수 경사하강법(plain gradient descent)과 정확히 일치함을 증명한다. 수정된 손실이 닫힌 형식(closed-form)의 표현식을 허용하지는 않지만, 임의의 유한 차수 $\mathcal{R}$에 대해 $O(h^{\mathcal{R}})$ 오차 수준까지 이를 기술하며, 전역적(유한 "시간" 지평) 궤적 근사 한계 $O(h^{\mathcal{R}})$를 증명한다. 이어 HB의 무기억 근사 기저에 있는 조합론에 대한 미세 입도 분석(fine-grained analysis)을 수행하며, 특히 오일러 다항식(Eulerian polynomials)과 나라야나 다항식(Narayana polynomials)을 포함하고 계수별로 그 사이에 위치하는 $\beta$에 대한 풍부한 다항식군이 내부에 숨겨져 있음을 발견한다. 또한 이러한 다항식들이 특정 그래프 결합다면체(graph-associahedra)의 $h$-다항식임을 증명한다. 주요 결과의 따름정리로, Rosca 등(2023)을 일반화하여 (엄밀한 경계를 갖는) 임의의 유한 근사 차수의 연속 수정 방정식과 HB 동역학을 근사하는 주 흐름(principal flow)을 도출한다. 근사 정리는 풀배치(full-batch) 및 미니배치(mini-batch) HB 모두를 포괄한다. 본 연구 결과는 HB의 주요 특성에 대한 새로운 통찰을 제시하며, 다른 최적화(optimization) 알고리즘의 유사한 분석을 위한 로드맵을 제공한다.

arXiv:2610.08475v1cs.LG

잠재 역학 네트워크를 통한 가변 초기 조건 편미분방정식 해 연산자 학습

Learning PDE solution operators with variable initial conditions via Latent Dynamics Networks

다중 질의(many-query) 시나리오에서 데이터 기반 대리 모델(surrogate model)은 편미분방정식(PDE)으로 지배되는 물리적 시스템을 시뮬레이션할 때 고충실도 솔버를 대체하는 효율적인 대안을 제공합니다. 이러한 맥락에서 최근 잠재 역학 네트워크(LDNet)는 신경 상미분방정식(Neural ODE)과 비선형 차원 축소를 결합하여 시공간 시스템의 응답을 예측하는 데 뛰어난 성능을 입증했습니다. 그러나 기존 공식은 고정된 초기 조건을 가정하므로, 시스템이 다양한 시작 상태에서 진화하는 여러 실제 응용 분야에 적용하는 데 한계가 있습니다. 본 연구에서는 공간 해상도 및 격자 위상(grid topology)에 대한 고유한 독립성을 보존하는 기존 LDNet의 종단간(end-to-end) 학습 절차와 인코더 미사용(encoder-free) 특성을 유지하면서 이러한 한계를 극복합니다. 잠재 상태 초기화를 적응 문제로 취급하여 소량의 초기 관측치로부터 초기 잠재 상태를 직접 추론하며, 두 가지 전략을 탐구합니다: 오토디코딩 공식과 초기 잠재 상태가 작업 특정 문맥 변수 역할을 하는 메타러닝(meta-learning) 접근법입니다. 우리는 이류-확산, 유체 역학, 고체 역학에 걸친 다양한 물리적 현상에서 제안된 방법들의 정확성을 입증합니다. 메타러닝은 잠재 상태 추론을 현저히 가속화하고, 더 매끄럽고 조건수가 개선된 최적화 지형(optimization landscape)을 유도하며, 잠재 공간을 기저 역학의 물리적으로 의미 있는 특징을 반영하는 구조화된 표현으로 자발적으로 조직화합니다. 좌표 기반 디코더는 공간적으로 서브샘플링된 데이터로부터 학습을 가능하게 하면서도 추론 시 고해상도 해 필드를 복원합니다. 결과적으로 제시된 접근법은 다양한 초기 조건을 갖는 시간 의존적 PDE의 다중 질의 시뮬레이션을 위한 효율적이고 해상도 독립적인 대리 모델링 프레임워크를 제공합니다.

arXiv:2610.08016v1math.NA

FOSLS-deRhaNN: 편미분방정식을 위한 1차 시스템 최소제곱 신경망 방법에 적용되는 H(div) 및 H(curl)에 대한 네이티브 드람 신경망 클래스

FOSLS-deRhaNN: native de Rham neural classes for H(div) and H(curl) with applications to first-order system least-squares neural network methods for partial differential equations

우리는 그래프 공간(graph space) H(div)와 H(curl)에 네이티브(native)한 신경망(neural network) 근사 클래스를, 2차원과 3차원에서, 그리고 H(div)의 경우 임의의 차원에서 구성한다. 모든 실현(realization)은 모든 매개변수(parameter) 값에 대해 해당 공간에 속하며, 렐루(ReLU) 신경망과 같이 꺾인(kinked) 포텐셜을 사용하는 경우 허용 가능한 불연속(jump)이 유한한 너비(finite width)에서 나타난다. 이 클래스들은 드람 복합체(de Rham complex)의 고정된 연산자 하에서 스칼라 및 성분별(componentwise) 신경망의 상(image)이며, 메쉬나 유한요소 에뮬레이션을 포함하지 않는다. R^n에서의 H(div)에 대해서는 두 개의 네이티브 클래스가 동등한 자격으로 제시되는데, 하나는 반대칭(skew-symmetric) 포텐셜 $A$를 사용하는 $\mathrm{Div}\,A+R_nq+\mathbf{h}$로서 발산(divergence) $q$를 명시적 미지수(unknown)로 두며, 다른 하나는 $H^1$ 장(field) $\mathbf{z}$를 사용하는 $\mathrm{Div}\,A+\mathbf{z}$이다; H(curl)의 경우 이에 대응하는 클래스는 2차원에서 $\mathrm{grad}\,φ+Sr+\mathbf{h}$, 그리고 2차원과 3차원에서 $\mathrm{grad}\,φ+\mathbf{z}$이다. 이들 모두에서 장(field)의 모든 경계면 불연속(interface jump)은 포텐셜 항 $\mathrm{Div}\,A$ 또는 $\mathrm{grad}\,φ$가 담당하며, 나머지 부분은 경계면 불연속이 없다(정규 분해(regular-decomposition) 클래스에서는 $H^1$ 장이다); $\mathbf{z}$를 포함하는 클래스는 이 항으로 보강된 성분별 접근법이다. 알려졌거나 학습된 경계면 기하(interface geometry)는 학습 가능한 진폭(trainable amplitude)을 가진 인자(factor)를 통해 포텐셜에 반영되며, 발산이 불연속일 경우 나머지 부분에도 반영된다. 이 클래스들은 FOSLS-deRhaNN 방법, 즉 드람 신경망을 사용하는 1차 시스템 최소제곱(first-order system least squares) 방법으로 이어지며, 이 방법의 손실(loss)은 약형식(weak formulation)의 자연스러운 공간에서 정의된 최소제곱 함수(least-squares functional)이다; 타원형(elliptic) 방정식의 경우 이는 $H^{-1}$ 우변(right-hand side)과 $H^{1/2}$ 디리클레(Dirichlet) 데이터를 포함한다. 불연속 계수(discontinuous coefficient)를 가진 타원형 방정식과 curl-curl 문제는 이 함수가 오차(error)와 동등한 사례로 다루어지며, 불연속 해(solution)를 갖는 선형 수송(linear transport)과 충격파(shock)를 갖는 보존 법칙(conservation law)은 동일한 플럭스(flux) 클래스를 사용한다.

arXiv:2610.07884v1math.NA

학습 기반 적응형 다중해상도 확산 이미징

Learned Adaptive Multiresolution Diffusion Imaging

적응형 다중해상도(adaptive multiresolution) 방법은 미세 스케일의 자유도를 필요한 곳에 집중시킴으로써 표현 비용을 줄이지만, 트리 업데이트는 대개 고정된 국소 기준에 의해 제어됩니다. 본 연구에서는 AMDI의 고정 트리 전파기(propagator)와 계층 구조 제약 조건을 보존하면서, 전파 후 선택기를 근접 정책 최적화(PPO, proximal policy optimization)로 학습된 공유 국소 정책으로 대체하는 학습 기반 적응형 다중해상도 확산 이미징(Learned AMDI)을 소개합니다. 동일한 트리를 사용할 경우, 회귀 테스트는 결정론적 AMDI 궤적을 머신 정밀도 수준으로 재현합니다. 여기서 연구된 하르(Haar) 구현에서는 결정론적 1단계 선택기가 54번의 결정 동안 세분화(refinement)를 전혀 허용하지 않습니다. 9개의 홀드아웃(held-out) 케이스에 걸쳐 Learned AMDI는 393회의 세분화를 실행하고 평균 최종 참조 불일치(discrepancy)를 $0.17496$에서 $0.13657$로 감소시키는 동시에, 점유율(occupancy)은 $0.13737$에서 $0.26660$으로 증가합니다. 스텝 단위 진단 결과 가끔 작은 적응 에너지 증가가 나타나며, 따라서 고정 트리 에너지 안정성이 학습된 외부 반복의 단조성을 보장하지는 않는 것으로 드러났습니다. 비슷한 점유율에서 검증을 통해 조정된 관측 상세 임계값 규칙은 약간 더 우수한 RMSE 및 SSIM과 함께 $0.13792$의 불일치에 도달하여, 두 방법 모두 실질적으로 동일한 정확도-점유율 트레이드오프 선상에 놓이게 됩니다. 첫 번째 결정(decision 1)만 적용한 대조군은 $0.13742$에 도달하여, 이 정적 벤치마크에서의 개선 대부분이 초기 할당에서 비롯됨을 보여줍니다. 공유 액터는 재학습 없이 $64\times64$ 및 $128\times128$ 이미지로 전이되어 결정론적 AMDI 대비 참조 불일치, RMSE, SSIM을 개선하는 반면, 고정된 임계값 규칙 또한 여전히 경쟁력을 유지합니다. 따라서 Learned AMDI는 적응형 할당을 위한 계층 구조 제약적이고 해상도 전이가 가능한 메커니즘을 제공하며, 순차적 결정의 기여도를 명확히 규명합니다.

arXiv:2610.07602v1math.NA

몽주-성장 쌍을 통한 헬링거-칸토로비치 그래디언트 흐름을 위한 신경망 JKO 스킴

A Neural JKO Scheme for Hellinger-Kantorovich Gradient Flows via Monge-Growth Pairs

본 연구에서는 불균형 최적 수송의 헬링거-칸토로비치(Hellinger-Kantorovich, HK) 기하학에서 그래디언트 흐름(gradient flow) 구조를 갖는 이류-반응-확산 방정식을 위한 메시-프리(mesh-free) 신경망 JKO 스킴을 개발합니다. 각 업데이트는 공간 맵(spatial map)과 질량 변화 인자로 매개변수화되어, 공간적 재분배와 국소 질량의 생성 또는 손실을 단일 변분 단계 내에서 함께 다룰 수 있도록 합니다. 이들의 콘 작용(cone action)은 제곱 HK 거리를 상계하여, 항등 쌍과의 비교를 통해 이산 에너지 소산에 대한 충분조건을 도출합니다. 모든 허용 가능한 쌍에 대해 쌍 목적함수를 최소화하면 소스와 최소화 함수가 양의 밀도를 가질 때 정확한 JKO 최솟값을 복원합니다. 본 연구에서는 JKO 최소화 함수에 대한 존재성 및 질량 경계를 확립하고, 추가적인 가정 하에 이산 오일러-라그랑주 방정식 및 메트릭 소산 항등식과 함께 양의 성질 및 정칙성을 확보합니다. 이때 자기 일관적 화학 포텐셜은 최적 맵을 따라 감소하지 않게 됩니다(nonincreasing). 정칙 쌍 근사 가설이 성립한다면, 종점 밀도와 목적함수 값이 정확한 JKO 최소화 함수의 값으로 수렴하는 매개변수 쌍이 존재합니다. 마지막으로 정확한 단계 정칙성, 양의 준정부호 상호작용, 전역 쌍대 실행 가능성을 가정할 때, 원-쌍대 격차(primal-dual gap)가 목적함수의 차최적성 및 볼츠만 엔트로피에 대한 $L^1$ 밀도 오차를 제어함을 보입니다. 수치 실험을 통해 편미분방정식(PDE)과의 점별 일치성, 에너지 소산, 그리고 수송, 반응 및 완전 암시적 상호작용의 역할을 검증합니다.

arXiv:2610.07211v1math.NA

선형 및 비선형 방정식 시스템을 위한 머신러닝 기반 반복법 개요

An overview of machine learning-enhanced iterative methods for systems of linear and nonlinear equations

방정식 시스템(systems of equations)은 광범위한 과학 및 공학 응용 분야에서 발생합니다. 본 연구는 편미분 방정식에서 발생하는 문제를 포함하되 이에 국한되지 않는 일반적인 방정식 시스템용 솔버(solver)에 초점을 맞춥니다. 이러한 시스템은 크게 선형 문제와 비선형 문제로 분류할 수 있습니다. 대규모 선형 시스템의 경우, 직접법(direct methods)의 계산 비용이 초선형적으로 증가하기 때문에 일반적으로 반복 솔버(iterative solver)가 선호됩니다. 계수 행렬에 대한 특정 가정 하에서 수렴(convergence) 이론이 잘 정립되어 있지만, 여전히 많은 종류의 시스템이 미해결 과제를 안고 있습니다. 이러한 어려움은 일반적으로 반복적인 선형화에 의존하는 비선형 방정식 시스템에서 더욱 심각해집니다. 예를 들어, 뉴턴 방법(Newton's method)은 해 근처에서 2차 수렴할 수도 있지만, 초기 추정값이 적절하게 선택되지 않으면 수렴 속도가 느려지거나 발산할 수도 있습니다. 다양한 변형과 하이퍼파라미터(hyperparameter) 설정을 가진 광범위한 솔버가 존재하며, 효율적이고 강건한 반복법의 개발은 여전히 활발한 연구 분야로 남아 있습니다. 최근에는 고전적 반복법의 해석 가능성과 신뢰성을 유지하면서 효율성을 향상시키기 위해 머신러닝(ML) 기법이 적용되고 있습니다. 본 논문에서는 고전적 반복법과 ML을 결합한다는 의미에서 이러한 ML 기반 반복법을 하이브리드 반복법(hybrid iterative methods)이라고 부릅니다. 본 논문은 선형 및 비선형 방정식 시스템 모두를 위한 하이브리드 반복법을 구축하는 최신 접근 방식에 대한 포괄적인 개요를 제공하는 동시에, 미해결 과제를 논의하고 향후 연구를 위한 잠재적 방향을 제시합니다.

arXiv:2609.32411v2stat.ML

AECSF: 고차원 비선형 자료 동화를 위한 적응형 앙상블 조건부 점수 필터링

AECSF: Adaptive Ensemble Conditional Score Filtering for High-Dimensional Nonlinear Data Assimilation

고차원 비선형 동적 시스템에 대한 베이지안 상태 추정은 입자 가중치 붕괴가 발생할 수 있는 반면 가우스 앙상블 업데이트는 비가우스 사후 구조를 놓칠 수 있어 통계적 충실도와 계산적 다루기 쉬움(tractability) 사이의 근본적인 긴장을 수반합니다. 점수 기반 확산 필터는 샘플링 기반 대안을 제공하지만, 기존의 학습 없는(training-free) 점수 필터는 노이즈가 있는 각 역방향 입자와 관련된 시스템 상태의 불확실성을 무시함으로써 사후 확률 정확도를 저해할 수 있는 휴리스틱 가능도(likelihood) 보정에 의존하는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습이 필요 없는 적응형 앙상블 조건부 점수 필터인 AECSF를 제안합니다. AECSF는 조건부 트위디 항등식(Tweedie identity)으로부터 해석적으로 다루기 쉬운 점수 추정기를 구성하며, 이는 노이즈가 있는 사후 점수 추정을 노이즈 역방향 입자와 관측값이 주어졌을 때 시스템 상태의 조건부 평균을 추정하는 문제로 재구성합니다. 이러한 조건부 평균을 효율적으로 추정하기 위해, AECSF는 공유 적응형 가중 제안 앙상블을 사용하는 한편, 입자별 조건부 가중치를 통해 별도의 제안 샘플링 없이 노이즈가 있는 각 역방향 입자에 대한 추정치를 도출합니다. 제안 앙상블은 동일한 역방향 확산 실행 내에서 역방향 입자 정보를 사용하여 조건부 평균 추정을 개선하도록 업데이트됩니다. 이론적으로는 고정 가중 제안 측도가 정확한 노이즈 사후 점수를 산출하는 조건을 규명합니다. 또한 명시된 가정 하에서 조건부 평균 추정 오차와 역방향 샘플링 종점 오차를 연결하는 경계를 확립합니다. 수치 실험을 통해 제한된 예측 앙상블을 갖는 고차원 문제에서 AECSF가 사후 샘플링 및 비선형 필터링의 정확도를 향상시킴을 입증합니다.

arXiv:2610.02634v1math.OC

자기공명 탄성영상(MRE)에서 점탄성 조직 특성 재구성을 위한 하이브리드 CNN-수반(adjoint) 최적화 프레임워크

A hybrid CNN-adjoint optimization framework for reconstruction of viscoelastic tissue properties in magnetic resonance elastography

자기공명 탄성영상(MRE, Magnetic Resonance Elastography)은 전단파(shear wave) 전파로부터 연조직의 점탄성 특성을 정량화하는 비침습적 영상 기법이다. 측정된 변위장(displacement field)으로부터 복소값 전단 탄성률(shear modulus)을 복원하는 것은, 특히 잡음이 존재하고 경계 가진(boundary excitation)이 제한된 경우 심각하게 비정칙적인(ill-posed) 역문제로 이어진다. 본 연구에서는 수반(adjoint) 기반 최적화, 합성곱 신경망(CNN) 재구성, 그리고 두 접근법을 결합한 하이브리드 프레임워크를 조사한다. 정방향 모델(forward model)은 복소 전단 탄성률을 갖는 수정된 정상(stationary) 스토크스(Stokes) 계의 스칼라 형태를 기반으로 한다. 우리는 정방향 문제의 well-posedness, 최소화자(minimizer)의 존재성, 수반 기반 공식화에 대한 1차 최적성 조건을 확립하고, Armijo 선탐색(line search)을 적용한 비선형 켤레기울기법(conjugate-gradient method)을 구현한다. PDE 제약 최적화(PDE-constrained optimization)는 계수 재구성을 정확하게 정밀화할 수 있지만, 그 성능은 초기화(initialization)에 크게 의존한다. 이에 따라 우리는 복소값 변위 측정값을 공간적으로 변화하는 복소 전단 탄성률 필드로 매핑하여 빠르고 유의미한 초기 재구성을 제공하는 2차원 CNN을 구성한다. 제안된 하이브리드 방법은 CNN 재구성 결과를 사용하여 수반 기반 최적화를 초기화함으로써 더 빠른 수렴(convergence)과 향상된 정확도를 달성한다. CNN은 개별 섭동(perturbation)을 포함하는 계수 필드에 대해 학습되며, 개별 구성과 이전에 보지 못한 복합 구성 모두에 대해 테스트된다. 수치 실험 결과, CNN은 이러한 더 어려운 구성에도 잘 일반화되며, 이후의 PDE 제약 최적화는 재구성된 계수를 추가로 정밀화하는 것으로 나타났다. 이러한 결과는 데이터 기반 초기화와 물리 기반 최적화를 결합하는 것이 효율적이고 정확한 MRE 재구성에 지닌 잠재력을 보여준다.

arXiv:2610.02564v1math.NA

커널 능형 회귀를 이용한 동역학계의 닫힘 모델 학습

Learning Closure of Dynamical Systems with Kernel Ridge Regression

본 연구에서는 커널 능형 회귀(Kernel Ridge Regression, KRR)를 사용하여 동역학계(dynamical systems)의 누락된 성분을 식별하기 위한 닫힘 모델링(closure modeling) 프레임워크를 개발합니다. 이 프레임워크는 두 가지 부류의 닫힘 문제를 다룹니다. 즉, 상미분방정식(ODE) 및 편미분방정식(PDE) 환경에서 발생하는 차분방정식 닫힘과, 기체운동학 방정식의 모멘트 닫힘(moment closure)에서 발생하는 대수적 닫힘입니다. 첫 번째 부류에 대해, 저자들은 시간 적분, 미해결 스케일(unresolved scales)의 근사, 그리고 미해결 스케일의 효과를 해석된 솔버(resolved solver)와 결합하는 데 필요한 보간(interpolation)의 기여도를 정량화하는 ODE 환경에서의 오차 한계를 유도합니다. Lorenz-63 시스템과 Kuramoto-Sivashinsky 방정식에 대한 수치 실험은 정확한 장기 예측 성능과 LSTM 기반 닫힘 모델 대비 상당한 개선을 보여줍니다. 두 번째 부류에 대해서는 1차원 기체운동학 방정식의 모멘트 닫힘을 다루며, 해석된 거시적 변수의 함수로서 기체운동학적 플럭스와 거시적 플럭스 간의 불일치를 모델링합니다. 주성분 분석(PCA) 좌표에 기반한 전역 KRR 모델과 공간적 국소(spatially local) 모델을 비교합니다. 전역 모델은 단봉형(unimodal) 초기 조건에서는 우수한 성능을 보이지만, 쌍봉형(bimodal) 초기 조건에서는 정확도가 저하됩니다. 반면 적절한 모델링 입력을 갖춘 공간적 국소 모델은 견고성(robustness)을 향상시키며 더 높은 예측 정확도를 달성합니다.

arXiv:2610.02253v1cs.LG

드롭아웃 신경망의 근사 성질: 소볼레프 수렴율 및 신뢰 한계

Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds

드롭아웃(dropout) 신경망의 보편 근사 성질(universal approximation property) 자체만으로는 정확한 무작위 실현(random realization)에 필요한 네트워크 크기를 설명하지 못합니다. 본 연구에서는 각 에지가 확률 $p$로 독립적으로 유지되는 렐루(ReLU) 신경망을 통해 $W^{n,\infty}([0,1]^d)$의 단위 공(unit ball)에 대한 근사를 연구합니다. 근사 오차는 입력 도메인 전반에 걸쳐 균일하게 측정되며, 단일 표본 네트워크에 대해 최소 $1-δ$의 확률로 보장이 성립합니다. 본 연구는 일정한 깊이와 $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$ 크기를 갖는 네트워크를 구성합니다. 이 구성은 유계된 국소 서브네트워크, 성공적인 근사 사건에 대한 국소화, 그리고 다중스케일 테일러 전개(multiscale Taylor decomposition)를 결합합니다. 반대로, 소볼레프 용량(Sobolev capacity)은 살아남는 에지 수에 대한 하한을 부여하며, 고정된 아핀 함수(affine function)의 근사는 충분히 높은 신뢰도에서 $((1-p)/p)\varepsilon^{-2}\log(1/δ)$ 차수의 출력층(output-layer) 비용을 요구합니다. 고정된 $p\in(0,1)$ 및 $δ<\min\{1/2,1-p\}$에 대해, 상한과 하한은 고정되거나 로그 수준의 깊이 제약 하에서 정확도 지수가 일치합니다. $d\leq2n$일 때, 이들은 정확도의 로그 항을 제외하고 신뢰도에서도 일치합니다. 나아가 본 연구는 하한을 $L^s$ 오차를 갖는 $W^{n,r}$ 타깃으로 확장하며, 이 확장을 $W^{n,\infty}$에 대한 상한과 구별합니다. 최적의 유지 의존성 및 로그 인수는 여전히 미해결 과제로 남아 있습니다.

arXiv:2610.02395v1cs.AI

FlashSinkhorn 2: 블록 희소 엔트로피 최적 수송

FlashSinkhorn 2: Block-Sparse Entropic Optimal Transport

FlashSinkhorn과 같은 엔트로피 최적 수송(EOT)을 위한 스트리밍 GPU 솔버는 밀집 커널 저장을 방지하지만, 여전히 모든 Sinkhorn 반복(iteration)마다 $n\times m$개의 모든 점 쌍을 평가합니다. 본 논문에서는 두 단계를 결합하여 단일 GPU에서 대규모 이산 EOT 문제를 규정된 한계 잔차까지 해결하는 저차원 포인트 클라우드 상의 제곱 유클리드 비용 솔버인 FlashSinkhorn 2(FS2)를 제시합니다. 대략적인 단계(coarse stage)에서는 셀 중심점에서 문제를 풀고 포텐셜을 모든 점으로 끌어올린(lift) 후, 샘플링된 한계 검사에서 리프트가 거부되면 중심점에서 계속 진행하여 대부분의 점 수준 업데이트를 대체합니다. 그런 다음 블록 희소 미세 단계(block-sparse fine stage)를 통해 대략적인 업데이트로 해결할 수 없는 중심점 오차를 제거합니다. 이 단계의 Morton 순서 블록은 스크리닝과 융합된 텐서 코어 실행을 지원하며, 블록 질량에 의해 설정된 임계값은 생략된 각 타일(tile)이 모든 행과 열에 미치는 기여도를 제한합니다. 합성 벤치마크에서 FS2는 32개 문제 전체에서 목표 잔차에 도달한 반면, GeomLoss 다중 스케일은 10개에서만 도달했습니다. 단일 A100에서 FS2는 우주론적 $N$-바디 시뮬레이션의 두 $1.34\times10^8$ 입자 측도 간 이산 EOT를 평균 입자 간 거리와 동일한 엔트로피 블러에서 2.5시간 이내에 0.01 미만의 전체 입자 한계 잔차로 해결합니다. 우리가 아는 한, 이는 몇 시간 내에 이 정도의 정확도로 해결된 가장 큰 이산 EOT 문제입니다. 재현성을 위해 오픈소스 구현체를 https://github.com/ot-triton-lab/flash-sinkhorn 에 공개합니다.

arXiv:2610.00698v1stat.CO

삼각 수송(Triangular Transport)을 위한 다중 충실도 공식화

Multifidelity Formulations for Triangular Transport

우리는 고충실도(high-fidelity) 데이터는 부족하지만 저충실도(low-fidelity) 데이터는 더 풍부하게 존재하는 상황에서, 샘플로부터 삼각 수송 사상(triangular transport map)을 구성하기 위한 다중 충실도(multifidelity) 기법을 개발한다. 이러한 다중 충실도 데이터 집합을 이용하여, 다루기 쉬운(tractable) 기준 밀도(reference density)와 고충실도 목표 분포(target distribution) 사이를 전단사(bijective)로 매핑하는 삼각 수송 사상을 근사한다. 저충실도 데이터를 활용하기 위한 두 가지 전략을 제시한다: 인접한 충실도 수준 간의 사상을 합성(compose)하는 계층적(hierarchical) 접근법과, 사상의 매개변수화(parameterization)에 단조성 보존(monotonicity-preserving) 보정을 적용하여 저충실도 정보를 통합하는 비계층적(non-hierarchical) 방법이다. 수치 실험을 통해 이러한 전략들을 단일 충실도(single-fidelity) 수송 방식과 비교하였으며, 제안된 다중 충실도 접근법이 제한된 고충실도 데이터로부터의 사상 추정(map estimation)을 어떻게 개선할 수 있는지 보여준다. 학습된 사상의 더 폭넓은 활용성을 보여주기 위해, 이를 다운스트림(downstream) 분할상환(amortized) 시뮬레이션 기반 추론(simulation-based inference) 작업에도 적용한다. 이 예시는 사상 추정에서의 다중 충실도 개선이, 고충실도 데이터가 부족한 상황에서 조건부 샘플링(conditional sampling)과 불확실성 정량화(uncertainty quantification)의 향상으로 이어질 수 있음을 보여준다.

arXiv:2610.02084v1math.NA

자유 경계 편미분 방정식을 위한 콜모고로프-아놀드 네트워크

Kolmogorov-Arnold Networks for Free-Boundary Partial Differential Equations

본 연구에서는 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Network, KAN) 근사를 활용한 물리 정보 기반 프레임워크 내에서 자유 경계(free-boundary) 문제를 연구합니다. 제안된 접근법은 잔차 기반 손실 함수를 통해 장애물 제약 조건, 편미분 방정식(PDE) 부등식, 상보성 조건 및 경계 조건을 통합합니다. 본 연구에서는 선형 타원형 장애물 문제, 비선형 $p$-라플라시안 장애물 문제, 그리고 시간에 의존하는 단상 스테판(Stefan) 문제를 다룹니다. 제안된 KAN 솔버는 물리 정보 기반 신경망(PINN) 및 잔차 네트워크 베이스라인과 비교됩니다. 수치 실험을 통해 KAN이 접촉 영역과 이동 계면을 정확하게 해석하는 동시에 낮은 상대 $L^2$ 및 $L^\infty$ 오차를 달성함을 보여줍니다. 이러한 결과는 KAN 표현이 자유 경계 편미분 방정식을 해결하기 위한 효과적인 대안을 제공함을 나타냅니다.