PyTorchKR Papers

최신 논문

총 448편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2604.04971v2cs.LG

물리 정보 신경망을 이용한 BGK 모델 풀이를 위한 이론 기반 가중 $L^2$ 손실

A Theory-guided Weighted $L^2$ Loss for solving the BGK model via Physics-informed neural networks

물리 정보 신경망(Physics-Informed Neural Networks)은 편미분방정식을 푸는 유망한 틀을 제공하지만, 표준 $L^2$ 손실 공식은 Bhatnagar-Gross-Krook(BGK) 모델에 적용할 때 근본적으로 불충분하다. 구체적으로, 표준 손실을 단순히 최소화하는 것만으로는 거시적 모멘트의 정확한 예측이 보장되지 않아, 근사해가 참된 물리적 해를 포착하지 못하게 된다. 이러한 한계를 극복하기 위해 본 연구는 고속도 영역에서의 오차를 효과적으로 벌점화하도록 설계된 속도 가중 $L^2$ 손실 함수를 도입한다. 제안한 접근법에 대한 안정성 추정을 확립함으로써, 제안한 가중 손실을 최소화하면 근사해의 수렴이 보장됨을 보인다. 또한 수치 실험을 통해, 이 가중 PINN 손실을 사용하면 표준 접근법에 비해 다양한 벤치마크에서 더 우수한 정확도와 강건성을 얻음을 확인한다.

arXiv:2506.13554v3cs.LG

강압적 연산자 분석을 통한 물리 정보 신경망의 비점근적 안정성 및 일관성 보장

Non-Asymptotic Stability and Consistency Guarantees for Physics-Informed Neural Networks via Coercive Operator Analysis

우리는 연산자 강압성(coercivity), 변분 공식화, 비점근적 섭동 이론에 기반하여 물리 정보 신경망(PINN)의 안정성과 일관성을 분석하기 위한 통합 이론 틀을 제시한다. PINN은 샘플링된 배치점과 경계점에서 잔차 손실을 최소화하여 편미분방정식(PDE)의 해를 근사한다. 우리는 연산자 수준과 변분 수준의 일관성 개념을 모두 정식화하고, 소볼레프 노름에서의 잔차 최소화가 온건한 정칙성 조건 하에서 에너지 노름과 균등 노름에서의 수렴으로 이어짐을 증명한다. 결정론적 안정성 한계는 네트워크 출력에 대한 유계 섭동이 전체 복합 손실을 통해 어떻게 전파되는지를 정량화하며, McDiarmid 부등식을 통한 확률적 집중 결과는 잔차 기반 일반화에 대한 표본 복잡도 보장을 제공한다. 통합 일반화 한계는 잔차 일관성, 투영 오차, 섭동 민감도를 연결한다. 타원형, 포물형, 비선형 PDE에 대한 실험 결과는 여러 영역에 걸쳐 우리의 이론적 한계가 갖는 예측 정확도를 확인해 준다. 이 틀은 연산자 강압성, 활성화 함수의 매끄러움, 샘플링 허용성과 같이 견고하고 일반화 가능한 PINN 학습의 기저에 있는 핵심 구조적 원리를 규명하며, PDE 기반 학습 시스템의 설계와 분석에 원칙적인 지침을 제공한다.

arXiv:2209.11134v5math.NA공식 코드 · Papers with Code

선형 고유값 문제 풀이를 위한 거듭제곱법 및 역거듭제곱법 기반 신경망

Neural Networks Based on Power Method and Inverse Power Method for Solving Linear Eigenvalue Problems

본 논문에서는 선형 고유값 문제를 풀기 위해 거듭제곱법과 역거듭제곱법에서 착안한 두 종류의 신경망을 제안한다. 이 신경망들은 미분 연산자를 자동 미분으로 구현하는 전통적 방법과 유사한 아이디어를 공유한다. 고유값 문제의 고유함수는 신경망으로 학습되며, 반복 알고리즘은 특별히 정의된 손실 함수를 최적화함으로써 구현된다. 가장 큰 양의 고유값, 가장 작은 고유값, 그리고 주어진 사전 지식이 있는 내부 고유값을 효율적으로 구할 수 있다. 우리는 1차원, 2차원 및 고차원 수치 실험에서 우리 방법의 적용 가능성과 정확도를 검토한다. 수치 결과는 우리 방법으로 정확한 고유값과 고유함수 근사를 얻을 수 있음을 보여 준다.

arXiv:2610.39897v1cs.LG

비선형 연속시간 시스템의 쿠프만 생성자에 대한 데이터 기반 랜덤 특징 근사

Data-driven Random-feature Approximation of Koopman Generators of Nonlinear Continuous-time Systems

데이터로부터 연속시간 동역학계를 학습하는 것은 활발한 연구 분야이다. 쿠프만(Koopman) 형식론은 유연한 접근법이면서 시스템의 근본적 성질에 대한 정보를 제공하기 때문에 이 분야에서 자주 사용된다. 이 형식론은 적절한 함수 공간에 작용하는 선형 연산자를 통해 동역학계를 표현한다. 쿠프만 연산자의 수치 근사에서 생기는 실질적인 어려움은 함수 공간의 효과적인 유한 차원 표현을 뜻하는 ``사전(dictionary)''의 선택이다. 본 논문에서는 연속시간 동역학계 학습에 초점을 맞추며, 따라서 쿠프만 연산자 대신 쿠프만 생성자의 수치 근사를 고려한다. 주요 기여는 gEDMD와 같은 갤러킨 근사 방법을 위해 간결하고 효과적인 함수 표현을 얻는 데이터 기반 랜덤 특징 방법이다. 우리가 구성하는 표현은 데이터를 반영하므로 데이터에 무관한 방법보다 성능을 개선할 수 있다. 예측 과제와 시스템 분석에 대한 본 방법의 적합성을 실험적으로 보인다. 수치 실험은 우리의 접근법이 정확하며 반복적 최적화보다 빠름을 보여 준다. 또한 벡터장 근사와 그로부터 얻어지는 궤적의 수렴성을 증명한다. 수치 결과에 더하여, gEDMD 근사가 생성하는 반군에 대한 일반적인 수렴 기준과 gEDMD가 일반적으로 지수적 유계성을 보존하지 않음을 보이는 반례를 포함한 이론적 기여도 제시한다. 이러한 기여를 통해 데이터로부터 연속시간 동역학을 효율적으로 학습하는 최전선을, 쿠프만 틀에 기반한 해석 가능하고 수학적으로 견고한 모델링을 향해 진전시킨다.

arXiv:2610.39041v1cs.LG

지수-네미츠키 신경 연산자: 시간 간격에 걸친 장(field) 진화 학습

Exponential-Nemytskii Neural Operators: Learning Field Evolution Across Step Sizes

가변 시간 간격 연산자 학습에서 관측된 시간 간격에서의 일치만으로는 다른 시간 해상도에서의 예측이 결정되지 않는다. 우리는 시간 간격 의존성이 준선형 동역학의 1차 Duhamel 근사로 규정되는 연산자를 제안한다. 이 연산자는 정확한 선형 전파와 장 및 그 도함수의 국소 비선형 함수를 결합하여, 여러 시간 간격에 걸쳐 조밀하게 샘플링된 지도 없이도 관측 간격보다 짧은 시간에서의 평가를 가능하게 한다. 적절한 조건과 고정된 공간 해상도에서, 두 시간 간격에서 모델 간 일치가 규정된 범위 전체에서 예측 차이를 제어함을 증명한다. 또한 두 시간 간격으로부터 두 구성 요소의 국소 식별 가능성에 대한 조건을 제시하여 학습된 구조의 해석을 뒷받침한다. 잠재 확장은 동일한 구성을 학습된 장에 적용한다. 우리는 기본 모델을 두 개의 합성 문제에서, 확장 모델을 두 개의 실제 데이터셋에서 여러 기준선과 비교하여 평가한다.

arXiv:2610.38269v1cs.LG

하이브리드 물리 정보 홀로모픽 신경망 방법

A Hybrid Physics-informed holomorphic neural networks Method

물리 정보 홀로모픽 신경망(PIHNN)은 복소해석적 표현을 활용하여 동차 편미분방정식을 구조적으로 만족시키지만, 비동차 문제로의 확장은 간단하지 않다. 우리는 해를 특수해 성분과 동차 성분으로 분해하는 하이브리드 물리 정보 홀로모픽 신경망(HPIHNN) 프레임워크를 제안한다. 특수해 성분은 단순한 확장 영역에서 스펙트럴 방법으로 계산하고, 동차 성분은 수정된 경계 데이터를 사용해 경계에서만 학습되는 PIHNN으로 근사한다. 그 결과의 정식화는 복잡한 기하에 대한 메싱을 피하며 홀로모픽 표현의 차원 축소 이점을 유지한다. 이 방법을 비동차 푸아송, 스토크스, 이중조화, 선형 탄성, 헬름홀츠 방정식에 적용한다. 복잡한 기하, 모서리 특이성, 거의 비압축성인 영역을 다루는 수치 실험은 제안 방법이 해당 해를 정확하게 구해내며, 고려한 실험에서 대체로 표준 PINN보다 낮은 오차와 짧은 학습 시간을 달성함을 보여 준다. 이 결과는 스펙트럴 특수해와 홀로모픽 신경 근사를 결합하는 것이 복잡한 영역의 비동차 편미분방정식에 대한 효율적인 접근법임을 시사한다.

arXiv:2610.38179v1math.NA

다중 충실도 다중 스케일 모델 폐쇄와 연산자 간 분포 외 일반화를 위한 인컨텍스트 학습

In-Context Learning for Multi-Fidelity Multiscale Model Closure and Cross-Operator Out-Of-Distribution Generalization

다중 충실도 학습은 저충실도 정보(거친 스케일의 PDE 모델)와 제한된 고충실도 데이터(세밀 스케일 해)를 함께 사용하여 고정확도 PDE 해를 얻는다. 이는 축소 모델을 다운스케일링하여 PDE를 효율적이고 정확하게 푸는 데이터 기반 접근이다. 표준 다중 충실도 학습은 하나의 연산자 또는 PDE에 초점을 맞추며, 새로운 PDE가 주어지면 추가적인 거친-세밀 해 쌍으로 재학습해야 할 수 있어 비용이 크다. 본 연구에서는 하나의 공유 모델로 여러 다중 충실도 연산자를 학습하는 인컨텍스트 다중 충실도 학습 프레임워크를 제안한다. 모델은 여러 연산자에서 가져온 저충실도 및 고충실도 쌍 예시를 시연으로, 그리고 새로운 거친 스케일 해 질의와 함께 학습되어 대응하는 세밀 스케일 해를 예측한다. 학습이 끝나면, 새로운 PDE 연산자, 소수(다섯 개 미만)의 거친-세밀 시연 쌍, 저비용 거친 질의가 주어졌을 때 모델은 미세조정 없이 대응하는 세밀 스케일 해를 예측한다. 목표 연산자가 학습 데이터셋에 있지만 학습 시간 구간을 넘어 예측하는 것과 같이 예측 목표가 다를 때는 추가 시연이 필요 없다. 대신 모델은 해당 PDE의 학습용 거친-세밀 쌍과 다른 학습 연산자의 정보를 사용한다. 그러면 테스트에서는 미세조정 없이 저비용 거친 스케일 해 질의만 생성하면 된다. 특히 가장 작은 모델은 학습 가능한 매개변수가 255,364개에 불과하며, 이는 560개 연산자에 대해 학습 연산자당 약 456개의 매개변수에 해당한다.

arXiv:2610.02377v2math.NA

베이즈 역문제에서 빠른 사후분포 샘플링을 위한 플로우 매칭

Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems

Sampling from the posterior is the central task of computational Bayesian inverse problems. The standard workhorse in Bayesian inference---Markov chain Monte Carlo (MCMC)---is sequential, yields correlated samples, and must be rerun for each new observation. Conditional flow matching offers an amortized alternative: a transport map, trained once on joint samples of parameter and data, that yields independent approximate posterior samples for any observation at negligible online cost, without new likelihood evaluations. We give a careful, MCMC-literate assessment of flow matching for PDE-based inverse problems with function-valued parameters. Exploiting the flow's tractable density, we derive computable accuracy estimates for the learned posterior in total variation distance and Kullback--Leibler divergence and, moreover, propose a hybrid sampler that is made asymptotically exact by Metropolization. We validate the accuracy estimates and demonstrate amortization in several numerical examples, including electrical impedance tomography and a likelihood-free Lotka--Volterra model. Flow matching reproduces posterior means and credible bands closely at a fraction of the forward solves required by MCMC, but its accuracy degrades for concentrated posteriors and for observations that are atypical under the prior.

arXiv:2603.29237v4cs.LG

Stochastic Dimension Implicit Functional Projections for Global Integral Conservation in High-Dimensional PINNs

Enforcing prescribed global integral constraints in mesh-free neural PDE solvers is challenging in high-dimensional domains. Existing projection methods for spatial integrals are often tied to fixed grids or uniform quadrature, which can conflict with randomly sampled physics-informed neural networks (PINNs) and scale poorly with dimension. High-order differential operators also increase reverse-mode automatic differentiation memory costs. We propose Stochastic Dimension Implicit Functional Projection (SDIFP), a quadrature-level framework for enforcing prescribed first and second spatial moments. SDIFP replaces tensor-product nodal projection by a global affine correction of the neural-network output, with two scalar coefficients determined from a weighted quadrature rule. Under positive target variance and nonzero empirical raw variance, this correction is the nearest-point projection, in the weighted quadrature norm, onto the empirical two-moment constraint set. Thus, the prescribed moments are exact for the selected quadrature rule, while continuum errors are quadrature errors of the corrected field. For decomposable high-dimensional linear operators, SDIFP combines affine moment correction with stochastic operator-subset sampling. With independent residual and derivative sampling and conditionally unbiased coefficient-gradient estimation, the resulting estimator is unbiased for the specified quadrature-based residual objective; the shared-subset fast mode is biased in general. SDIFP avoids tensor-product quadrature for moment enforcement, separates forward quadrature evaluation from the reverse-mode graph, and retains pointwise inference efficiency once the affine coefficients are fixed or precomputed.

arXiv:2601.16884v4cs.LG

Multigrade Neural Network Approximation

We study multigrade deep learning (MGDL) as a principled framework for structured error refinement in deep neural networks. While the approximation power of neural networks is now relatively well understood, training very deep architectures remains challenging due to highly nonconvex and often ill-conditioned optimization landscapes. In contrast, for relatively shallow networks, most notably certain one-hidden-layer ReLU models, training admits convex reformulations with global guarantees under appropriate settings, motivating learning paradigms that improve stability while scaling to depth. MGDL builds on this insight by training deep networks grade by grade: previously learned grades are frozen, and each newly added grade-wise subnetwork is composed on top of the previously learned grades and trained to fit the residual left by the current approximation, yielding a structured and interpretable hierarchical refinement process. We develop an operator-theoretic foundation for MGDL and prove that, for any continuous target function defined on a hypercube, there exists a fixed-width multigrade ReLU scheme whose residuals are pointwise nonincreasing in magnitude and converge uniformly to zero, with strict $L^p$-norm decay at every nontrivial grade for $p\in [1,\infty)$. To the best of our knowledge, this work provides the first rigorous constructive approximation guarantee showing that a grade-wise residual refinement scheme can achieve vanishing error in a fixed-width multigrade ReLU architecture.

arXiv:2610.40528v1math.NA

NEOPIC: A Neural Operator Framework for Particle-based Kinetic Plasma Simulations

We introduce NEOPIC, a framework for learning the field operator in particle-based methods applied to kinetic plasma simulations. Its key novelty is a neural operator that acts directly on the empirical measure of the particles, rather than on a grid, and is evaluated at the particle positions. No mesh or tree is needed and, unlike grid-based neural operators, no deposition onto a mesh takes place, so the particle noise that dominates the inputs of particle simulations is not aliased. Since it replaces only the field solve, it serves as a plug-and-play field solver for particle-based methods: it can be trained on data from particle-in-cell, particle-in-Fourier or tree codes, and combined with any time integrator, including implicit schemes. We prove that the discrete evaluation coincides with the continuous operator at any number of particles (representation equivalence) and derive an error analysis that separates sampling, learning and time-stepping errors: up to the learning error, NEOPIC has the error structure of standard Monte Carlo particle methods. We show that the particle noise in the training data acts as an implicit regularizer, which gives guidance on the number of training particles in relation to the particle numbers used at inference. A complexity analysis shows that NEOPIC is an $O(N_p)$ method whose constants are set by the architecture alone, independently of any mesh or tree. Numerical experiments on electrostatic benchmarks in two and three dimensions, including Landau damping, two-stream and bump-on-tail instabilities, a cyclotron mini-app and a Penning trap, confirm the theoretical findings. A single model trained on several mini-apps generated by different reference methods captures all of them and remains stable up to twice the training time window, which points towards foundation models for fields in particle-based methods.

arXiv:2610.39214v1math.NA

Fast rigid rotational alignment of voxelized 3-D density maps in sliced Wasserstein distance

We develop a fast method for the rigid alignment of voxelized three-dimensional density functions over $\mathsf{SO}(3)$ using sliced optimal transport. Our approach efficiently transforms each density map into a tensor of one-dimensional quantile functions, taken from central slices over the unit sphere, such that the Euclidean distance of the transformed volumes approximates the sliced 2-Wasserstein distance. Our formulation is therefore compatible with existing, fast, voxel-based Euclidean alignment algorithms. We provide theoretical analysis and numerical experiments demonstrating that the sliced 2-Wasserstein distance is a robust metric for comparing three-dimensional shapes and for computing their rigid alignment.

arXiv:2610.38212v1math.ST

Scalable Bayesian Quadrature via Operator-Adapted Features

Kernel methods face two recurrent bottlenecks: the cubic cost of inverting an $n\times n$ kernel matrix, as in kernel ridge regression, and the evaluation of kernel integrals, as required in kernel quadrature. Existing low-rank kernel and Gaussian process approximations primarily address the former bottleneck, but do not control the downstream quadrature error when both the kernel matrix and kernel mean are approximated, particularly when the integrand lies outside the kernel reproducing kernel Hilbert space. We address both challenges through an operator-adapted finite-feature approximation. Specifically, we construct a finite-dimensional working kernel from the eigenvalues and eigenfunctions of a second-order differential operator. We establish convergence guarantees for the resulting finite-feature estimators in kernel quadrature, with extension to other related kernel methods. Our results show that, with $m \lesssim n$ basis functions, the truncated estimator attains the corresponding benchmark statistical rates. The theory covers fixed/random designs, noisy/noiseless observations, oversmoothing/undersmoothing regimes, and Mat\'ern/Gaussian-type weights. We provide explicit error bounds that quantify the roles of the spectral cutoff, regularization parameter, lengthscale, sampling geometry, and operator boundary condition. We verify the convergence results in numerical experiments.

arXiv:2408.09624cs.AI

Attention is a smoothed cubic spline

트랜스포머 아키텍처에서 어텐션 모듈은 그 중요성에도 불구하고 여전히 많은 부분이 미지의 영역으로 남아있습니다. 본 연구는 이러한 어텐션 모듈을 부드러운 큐빅 스플라인으로 해석함으로써, 고전 근사 이론의 관점에서 새로운 통찰을 제공합니다. 저자들은 ReLU 활성화 함수를 사용하여 어텐션, 마스크드 어텐션, 인코더-디코더 어텐션이 모두 큐빅 스플라인으로 표현될 수 있음을 보였습니다. 이러한 접근은 트랜스포머의 모든 구성 요소가 다양한 어텐션 모듈과 피드 포워드 신경망의 조합으로 이루어져 있다는 점에서 중요한 의미를 가집니다. 연구는 Pierce-Birkhoff 추측을 바탕으로 모든 스플라인이 ReLU 활성화 인코더로 표현될 수 있다는 점을 강조합니다. 이를 통해 어텐션 모듈의 수학적 본질을 명확히 하고, 큐빅 스플라인을 통해 트랜스포머의 구조적 이해를 심화시킵니다. 또한, 부드러운 $C^\infty$ 버전을 얻기 위해 ReLU를 SoftMax와 같은 부드러운 활성화 함수로 대체할 경우, 기존의 트랜스포머 모델을 회복할 수 있음을 제시합니다. 이 연구는 어텐션 메커니즘에 대한 수학적 해석을 통해 기존의 기계 학습 모델에 대한 이해를 심화시키며, 트랜스포머 아키텍처의 본질을 스플라인이라는 잘 알려진 수학적 객체로 설명합니다. 실험 결과는 제안된 큐빅 스플라인 모델이 기존 모델보다 우수한 성능을 보이며, 어텐션 모듈의 수학적 해석이 실제 성능에 긍정적인 영향을 미친다는 것을 입증합니다. 이러한 발견은 향후 어텐션 메커니즘의 발전에 기여할 것으로 기대됩니다. 이 연구는 트랜스포머의 어텐션 모듈을 새로운 시각으로 바라보게 하며, 관련 분야의 연구자들에게 중요한 기초 자료가 될 것입니다.

arXiv:2312.08472cs.NE

AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions

상세 요약의 방법론 축을 정리해서, 발견 과정과 엄밀한 보증 구조가 자연스럽게 이어지도록 소개문 형태로 작성하겠습니다. 핵심은 진화적 symbolic regression이 어떤 방식으로 새로운 근사식을 찾고, 그 결과를 구간 산술과 부동소수점 오차 분석으로 어떻게 정당화하는지에 맞추겠습니다. 초월함수는 과학 계산의 핵심이지만 디지털 하드웨어가 직접 계산할 수 없기 때문에, 그동안은 테일러 급수(Taylor series)와 같은 전통적 근사법에 의존해 왔습니다. AutoNumerics-Zero는 이러한 관점에서 벗어나, 모든 상황에서의 임의 정밀도 대신 32비트 부동소수점(float32)처럼 실제 컴퓨터가 다루는 유한 정밀도 환경에 맞추어 더 효율적인 근사식을 자동으로 발견할 수 있는지를 묻습니다. 저자들은 이 질문에 답하기 위해, 덧셈·뺄셈·곱셈·나눗셈만을 이용해 처음부터 프로그램을 구성하는 진화적 symbolic regression을 사용하고, 연산 횟수처럼 미분 불가능한 목적까지 함께 최적화하는 탐색 전략을 설계했습니다. 이 방법의 장점은 단순한 계수 조정이 아니라, 계산 그래프 자체를 새로운 수학적 표현으로 진화시킨다는 점에 있으며, 사전 수학 지식이 거의 없어도 유의미한 근사식을 찾아낼 수 있음을 보여 줍니다. 실제로 이 탐색은 지수함수를 10개의 연산만으로 약 14자리 유효숫자까지 근사하는 프로그램을 발견했는데, 이는 같은 규모의 기존 근사식보다 6자릿수 이상 더 높은 정확도입니다. 더 중요한 점은, 이렇게 얻은 식이 단지 일부 샘플에만 맞는 경험적 결과가 아니라 전체 입력 구간에서 정당하게 작동하는 함수라는 사실을 엄밀히 확인했다는 데 있습니다. 이를 위해 저자들은 먼저 발견된 식이 $(0,1]$에서 잘 정의되는지 검증하고, 닫힌 지지집합(closed support)과 미분 가능성(differentiability)을 확보하여 구간 전체에 대한 해석적 논의를 가능하게 만들었습니다. 이어서 구간 산술(interval arithmetic)을 이용해 도함수의 상한을 구하고, 평균값정리(mean value theorem)를 통해 각 부분 구간의 오차를 재귀적으로 제어함으로써 전역 상대 오차 상한을 증명했습니다. 이러한 절차는 실험적으로 우수한 근사식을 수학적으로 보증된 결과로 끌어올리는 핵심 장치이며, 발견된 프로그램이 실제로 해석 가능한 수치 함수라는 점을 뒷받침합니다. 나아가 하드웨어 수준의 부동소수점 반올림까지 고려한 별도의 분석에서는, 테일러 다항식과 발견된 프로그램의 차이를 분해해 추적하고 Gappa와 같은 자동 정리 도구를 활용하여 전체 float32 입력에서 1 ULP(unit in the last place, 최소 유효 자리 단위) 미만의 오차를 보장했습니다. 이러한 결과는 진화적 탐색이 단지 “그럴듯한” 근사식을 찾는 수준을 넘어, 실제 하드웨어와 수학적 증명 모두에 부합하는 수치 프로그램을 자동으로 발견할 수 있음을 시사합니다. 특히 실수 기반 오차 보증과 부동소수점 기반 오차 보증을 분리해 다루면서도 최종적으로 하나의 강한 정확도 주장으로 통합한 점은 이 논문의 방법론적 완성도를 높입니다. 결국 AutoNumerics-Zero는 유한 정밀도 계산의 제약을 약점이 아니라 탐색의 기회로 바꾸어, 더 짧고 더 정확하며 더 안정적인 초월함수 근사식을 자동으로 찾아낼 수 있음을 입증한 연구로 볼 수 있습니다.

arXiv:2610.18691v1cs.CV

Orientation Estimation of Cryo-EM Images for Molecules with Arbitrary Symmetry by Semidefinite Programming

This paper extends the non-unique games framework introduced in Bandeira et al. (2020) to address symmetric structures. Precisely, we consider the problem \[ \begin{aligned} \underset{g_1,\ldots,g_n\in \mathcal{G}}{\operatorname{min}}\,\, \frac{1}{|S|}\sum_{i,j=1}^n \sum_{s\in S} f_{ij}(g_i s g_j^{-1}), \end{aligned} \] where $\mathcal{G}$ is a compact group, $S\subset \mathcal{G}$ is a finite subgroup of symmetry elements, and $f_{ij}:\mathcal{G}\rightarrow \mathbb{R}$ is a loss function. A notable example is common lines based orientation estimation of cryo-EM images for molecules with point group symmetry $S$, where $\mathcal{G}$ is the rotation group $\operatorname{SO}(3)$. With a semidefinite programming relaxation, we turn the problem into a convex program that is solved with the alternating direction method of multipliers. Unlike existing approaches which are tailored to specific symmetry groups, ours provides a unified computational framework for addressing all point group symmetries. We demonstrate the applicability of the proposed algorithm on the cryo-EM orientation estimation problem on both simulated and experimental datasets. In particular, our algorithm is effective in generating high-quality ab initio models from only a few class averages computed from experimental images.

arXiv:2610.13804v1stat.ML

제약 조건 하의 확률론적 수치해석: 선형 부등식 제약 조건 하의 선형 편미분방정식을 위한 가우시안 프로세스 솔버

Constrained Probabilistic Numerics: Gaussian Process Solvers for Linear PDEs under Linear Inequality Constraints

선형 편미분방정식(PDE)을 위한 가우시안 프로세스(Gaussian process) 솔버는 점 추정치 대신 사후확률을 반환하지만, PDE 잔차, 경계 데이터, 측정값과 같은 등식 정보에 대해서만 조건부화(conditioning)를 수행합니다. 그러나 관심을 두는 많은 해는 비음수성(nonnegativity), 단조성(monotonicity), 무차익(absence of arbitrage)을 포함한 부등식 제약을 따르며, 등식 조건부화만으로는 이를 강제할 수 없습니다. 본 연구에서는 가우시안 프로세스 사전확률을 선형 등식 관측값과 유한차원 부등식 사건에 결합하여 조건부화하는 것이, 해 공간 상의 보렐 측도(Borel measure) 관점에서 순차적으로 조건부화하는 것과 동등함을 증명합니다. 따라서 물리 정보가 반영된(physics-informed) 사후확률은 가상 지점에서의 부등식 업데이트를 위한 유효한 사전확률이 됩니다. 결합 법칙은 비가우시안(non-Gaussian)이지만 절단 정규분포(truncated-Gaussian) 모멘트를 통해 계산 가능하며, PDE 조건부화와 부등식 업데이트 모두 수정할 필요가 없습니다. 본 연구진은 포아송(Poisson) 벤치마크, 옵션 가격 표면, 대기질 필드에서 이 구성을 평가했습니다. 불완전한 경계 데이터 조건에서, 단조성 제약 조건은 2차원 포아송 재구성의 오차를 $63\%$ 낮췄습니다. 20개의 호가만 남기도록 축소한 실제 S&P 500 옵션 체인에서, 무차익 제약 조건은 홀드아웃 외삽 오차를 $22\%$ 줄였고 캘린더 차익 비율을 $10\%$에서 $1\%$로 낮췄습니다. 네 가지 실제 대기질 스냅샷에서는, 관측소 수가 가장 희소할 때 비음수성 제약이 가우시안 모멘트 기반 음수 꼬리 프록시(sub-zero-tail proxy)를 $74\%$ 감소시켰습니다. 평균 정확도 및 제약 진단 수치의 변화는 데이터 체제에 따라 다르게 나타났습니다. 등식 사후확률 하에서 노이즈가 포함된 가상 제약 사건의 확률은 업데이트 전 지정된 경계와의 일치도를 측정합니다. 이러한 구성은 허용 가능성(admissibility)을 사후 처리 단계에서 확률론적 PDE 솔버를 위한 조건부 정보로 전환합니다.

arXiv:2610.12336v1cs.MS

asdex: JAX에서의 자동 희소 미분

asdex: Automatic Sparse Differentiation in JAX

과학 컴퓨팅과 머신러닝의 많은 작업에서는 함수의 야코비안(Jacobian) 또는 헤시안(Hessian) 행렬을 필요로 합니다. 자동 미분(AD)은 이러한 도함수를 기계 정밀도(machine precision) 수준으로 계산하지만, 조밀한(dense) $m \times n$ 야코비안을 구체화하려면 열 또는 행당 하나씩, $n$회의 전진 모드(forward-mode) 또는 $m$회의 후진 모드(reverse-mode) AD 패스가 필요합니다. 광범위한 함수 클래스에서는 각 출력이 소수의 입력에만 의존하므로 도함수 행렬이 희소(sparse)해집니다. 자동 희소 미분(ASD)은 이러한 구조를 네 단계로 활용합니다: 입력 무관 희소성 패턴 감지, AD 패스를 공유할 수 있는 열이나 행을 그룹화하기 위한 그래프 컬러링, 색상당 한 번의 AD 패스로 압축된 도함수 행렬을 계산하는 압축 미분, 그리고 마지막으로 원래 희소성 패턴으로의 압축 해제입니다. 색상의 수, 즉 AD 패스의 수는 문제 차원과 무관한 경우가 많습니다. 예를 들어 $b$개의 연속된 띠를 갖는 띠 야코비안(banded Jacobian)은 크기에 관계없이 항상 $b$개의 색상만 필요로 합니다. asdex는 널리 사용되는 JAX 생태계에서 최초의 독립형 ASD 툴킷을 제공합니다. asdex.jacobian 및 asdex.hessian을 통해 jax.jacobian 및 jax.hessian을 희소 방식으로 즉시 대체할 수 있는 기능을 제공합니다.

arXiv:2610.12132v1cond-mat.soft

고분자 전해질 이온을 위한 구조 보존 신경망 밀도 범함수

A structure-preserving neural density functional for the ions of a polymer electrolyte

불균일한 고분자 전해질의 구조와 반응을 예측하려면 분자 수준의 정확도를 유지하면서도 다양한 공간 척도와 기하학적 구조 전반에 걸쳐 전이 가능(transferable)한 이온 상관관계 기술이 필요합니다. 본 연구에서는 공간 대칭성, 열역학적 적분가능성, 그리고 뇌터 항등식(Noether identities)을 보존하며 안정적인 비임계 벌크 상태에서 완전 차폐(perfect screening)를 회복하는 전해질용 신경망 밀도 범함수를 개발합니다. 이 범함수의 비선형 밀도 의존성은 강한 결합에서 장파장 입자 수 요동이 증대되는 상태에서 억제되는 상태로 교차(crossover)하는 현상을 포함하여, 쌍 종결(pair closure) 방식에서는 포착하지 못하는 농도 의존적 상관관계를 포착합니다. 또한 이 범함수는 학습되지 않은 염 농도에서의 밀도 프로파일을 기술하고 벌크 구조 인자 및 장파장 입자 수 반응을 예측합니다. 분자 동역학(molecular dynamics)의 평면 밀도 및 내부력 프로파일만으로 학습되었음에도 불구하고, 더 큰 영역과 2차원 외장 하에서의 이온 구조를 예측합니다. 동일한 이온 데이터에 대해 이 범함수는 세 가지 다른 신경망 밀도 범함수 아키텍처보다 더 정확하며, 최적의 대안 모델의 오차가 약 3분의 2가량 증가하는 조건인 4분의 1 수준의 학습 횟수만으로도 정확도를 유지합니다. 이러한 공간적 전이 가능성은 분자 수준의 상관관계를 더 큰 척도의 연속체 예측과 연결하는 데 필수적인 기반을 제공합니다.

arXiv:2607.08987v2cs.LG

군 불변 스펙트럴 임베딩

Group Invariant Spectral Embedding

스펙트럴 임베딩(spectral embedding) 방법은 내재적 저차원 구조를 가진 고차원 데이터셋의 차원 축소 및 군집화에 널리 사용된다. 실제 응용에서 중요한 많은 데이터셋이 회전과 같은 대칭성에 대한 불변성을 보임에도 불구하고, 표준 스펙트럴 임베딩 방법은 이를 고려하지 못하여 대칭 관계로 연관된 데이터 포인트들을 무관한 것으로 취급한다. 이 문제에 대한 우리의 접근법은 스펙트럴 임베딩에 사용되는 친화도 커널(affinity kernel)에 대칭성을 직접 반영하는 것이다. 우리는 콤팩트 리 군(compact Lie group) $G$에 의해 주어지는 대칭성을 지닌 리만 데이터 다양체 $M$의 경우를 분석하며, 적절한 조건 하에서 세 가지 유형의 불변 커널로 구성된 그래프 라플라시안이 몫공간(quotient space) $M/G$ 상의 명시적인 2계 미분 연산자로 점별 수렴(pointwise convergence)함을 증명한다. 우리의 분석은 군의 차원에 따라 유효 차원이 감소하므로 수렴 속도가 향상됨을 시사한다. 우리는 $\mathrm{SO}(2)$ 또는 $\mathrm{SO}(3)$ 대칭성을 가진 데이터셋에서 제안하는 접근법을 검증하고, 무한한 데이터 극한에서도 내재적 기하학을 복원하지 못하는 표준 스펙트럴 임베딩과 달리 $G$-불변 스펙트럴 임베딩은 데이터의 내재적 기하학을 복원함을 보인다.