PyTorchKR Papers

최신 논문

총 446편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2606.20467v2cs.LG

에이전트 기호 탐색: 수작업 수식, 메시, 신경망을 넘어선 편미분방정식 해의 근사

Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks

수치 기법과 신경망은 비선형 편미분방정식(PDE)에 대한 이해를 변화시켰지만, 그 동역학을 설명하는 수학적 표현을 발견하는 일은 여전히 대체로 전문가의 몫이다. 본 논문은 코딩 에이전트가 알려진 PDE와 제공된 수학적 지식으로부터 명시적 근사를 구성하고 개선하는 에이전트 기호 탐색(ASYS)을 제안한다. ASYS는 미분 가능한 기호 프로그램에 대한 진화적 탐색을 경사 기반 피팅과 결합하며, 지배 방정식을 이용해 후보를 평가하고 수정을 이끈다. 특이 일반화 Constantin-Lax-Majda 프로파일에 대해 ASYS는 장이 특이 시점의 극한에 접근하는 속도를 결정하는 누락된 감쇠항을 추론하고, 프로파일을 중앙값 오차 $3.90\times10^{-5}\%$로 적합하는 기저를 구성한다. Fujita 폭발의 경우 확산과 반응을 분리하고 국소 응답을 유도하여, 제공된 공식의 오차를 55.5%에서 0.0879%로 낮춘다. Allen-Cahn 계면에 대해서는 14개 매개변수로 구성한 모델이 독립적인 시뮬레이션으로 확인된 모드 결합 법칙을 도출한다. 이러한 연구는 에이전트 탐색이 수학적 출발점을 정확하고 분석 가능한 근사로 발전시킬 수 있음을 보여준다.

arXiv:2605.10566v2stat.ML

아핀 추적: 확률적 선형 해법기를 위한 새로운 패러다임

Affine Tracing: A New Paradigm for Probabilistic Linear Solvers

확률적 선형 해법기(PLS)는 선형 시스템의 해를 구할 때 제한된 계산으로 인해 발생하는 불확실성을 정량화하는 확률분포를 반환한다. 기존 문헌은 전통적으로 선형 시스템의 투영으로 얻은 정보에 사전분포를 조건화하는 베이지안 PLS와, 고전적 반복 해법기를 확률 공간으로 끌어올리는 확률적 반복법(PIM)을 구분해 왔다. 본 연구에서는 이러한 이분법이 거짓임을 보인다. 베이지안 PLS는 비정상(non-stationary) 아핀 PIM의 특수한 경우이다. 또한 현실적인 모든 아핀 PIM이 보정되어 있음을 증명한다. 이러한 결과는 (비정상) 아핀 PIM에 초점을 맞출 근거가 되지만, 이를 구현하는 데 상당한 수작업이 필요하여 실제 도입은 제한되어 왔다. 이를 해결하기 위해 우리는 아핀 추적(affine tracing)을 제안한다. 이는 기호 추적자를 계산 과정에 통과시켜 아핀 계산 그래프를 구축함으로써, 아핀 반복법의 표준 구현으로부터 PIM을 자동으로 구성하는 알고리즘 프레임워크이다. 이 그래프를 변환하여 사후 공분산을 계산하는 방법과, 특정 사전분포 선택하에서 계산에 필요한 대수적 단순화를 수행하기 위해 등식 포화(equality saturation)를 활용하는 방법을 보인다. 확률적 멀티그리드 해법기를 자동으로 생성하여 프레임워크를 시연하고, 가우시안 과정 근사의 맥락에서 그 성능을 평가한다.

arXiv:2605.09288v2cs.LG

MC$^2$: 빠른 타원형 편미분방정식 풀이를 위한 몬테카를로 보정

MC$^2$: Monte Carlo Correction for Fast Elliptic PDE Solving

편미분방정식(PDE) 해법기는 현대 컴퓨터 그래픽스, 기하 처리, 과학 계산의 근간이다. Walk-on-Spheres(WoS)와 같은 고전적 몬테카를로 PDE 해법기는 편향이 없는 메시 없는 추정을 제공하지만, 정확도가 샘플링과 수치 근사에 의해 제한된다. 학습 기반 해법기는 빠르지만 편향되어 있고 분포 변화에 취약하다. 이에 우리는 저예산 몬테카를로 해를 참 필드에 대한 구조화된 추정량으로 취급하고, 단일 패스 신경망 보정을 학습하여 고충실도 해를 복원하는 하이브리드 신경망-몬테카를로 PDE 해법기 MC$^2$를 제안한다. MC$^2$는 $1000\times$ 이상 많은 몬테카를로 샘플을 사용한 해와 동등한 정확도를 보이며, 평가된 모든 메시 없는 고전 기법, 노이즈 제거 기법, 신경 연산자 기준선을 능가한다. 유한 계산량 PDE 풀이에 대한 재현 가능한 연구를 가능하게 하기 위해, 우리는 지금까지 가장 큰 표준화된 타원형 PDE 벤치마크인 PDEZoo도 공개한다. 이는 5개의 타원형 계열과 무제한의 기하 조합에 걸친 200만 개의 PDE로 구성되며, 해석적 참값과 다중 예산 몬테카를로 궤적을 갖추고 있다. MC$^2$와 PDEZoo는 함께 (1) 유한 표본 몬테카를로 오차가 구조적이며 학습 가능하고 단일 순전파로 보정 가능함을 경험적으로 확립하고, (2) 동일한 정확도에서 WoS보다 약 218배 빠르게 PDE를 풀 수 있으며 최신 확산 기반 방법 대비 추론 시간을 약 171배 줄이면서 더 높은 정확도를 달성함을 보이고, (3) 이 분야에 지금까지 부족했던 재현 가능한 평가 기반을 제공한다. 코드 및 데이터: https://mc-error-correction.github.io

arXiv:2611.12424v1cs.CE

소량 데이터 환경에서의 물리 정보 신경망: 고전적 PDE 대리 모델과의 통제된 비교

Physics-informed neural networks in the small-data regime: A controlled comparison with classical PDE surrogates

공학 모델을 위한 신경 대리 모델은 흔히 시뮬레이션된 해의 대규모 집합으로 학습된다. 우리는 지배 방정식과 규정된 초기 조건 및 경계 조건을 통합함으로써 물리 정보 신경망(PINN)이 희소한 레이블 관측으로부터 정확한 예측을 달성할 수 있는지 조사한다. 우리는 더 높은 우선순위의 손실에 따라 물리적 제약에 대한 강조를 조정하는 계층적 손실 가중(H-PINN)과 그 기울기 방향 인식 확장(HO-PINN)을 제안한다. 계층적 PINN은 열 방정식과 세 개의 이질적인 2상 유동 벤치마크에서 Vanilla PINN, 튜닝된 그래디언트 부스팅, 서포트 벡터 회귀, 가우시안 프로세스 회귀와 비교된다. 실험은 20~1000개의 레이블 상태와 열 개의 짝지어진 시드를 사용한다. 각 레이블은 완전한 시뮬레이션이 아니라 하나의 좌표-상태 관측이다. 레이블이 20개와 50개일 때 각 보간 및 방정식 보조 예측 비교에서 적어도 하나의 PINN 변형이 가장 높은 평균 주요 목표 \(R^2\)를 달성한다. 물 포화도에 대한 이점은 시험한 모든 예산에서 유지된다. 계층적 가중은 일부 설정에서 실행 간 변동성을 줄인다. 이러한 결과는 알려진 물리가 매우 적은 해 관측으로부터도 정확한 신경 대리 예측을 뒷받침할 수 있음을 보여 주며, 다만 시험한 고전적 회귀 모델보다 적합 비용이 상당히 더 높다.

arXiv:2611.12162v1cs.GR

같은 물리, 다른 그래디언트: 미분 가능 물리 시뮬레이션에 관한 최신 기술 보고서

Same Physics, Different Gradients: A State-of-the-Art Report on Differentiable Physics Simulation

미분 가능 시뮬레이션은 물리 시뮬레이터를 통해 도함수를 전파하여 애니메이션, 시스템 식별, 제어, 계산 설계를 그래디언트 기반 최적화로 바꾼다. 엔진들은 모델링하는 물리에서 다를 뿐 아니라, 덜 드러나게는 어떤 수학적 대상을 미분하는지에서도 다르다. 우리는 문헌에서 혼동되는 두 가지 질문을 분리한다. 지시 대상(referent)은 반환된 도함수가 어떤 대상에 속하는지, 즉 실행된 유한 계산, 그것이 근사하는 수렴된 방정식, 또는 연속 동역학 중 무엇인지를 가리킨다. 구현 방식(realization)은 역방향 패스의 조직, 즉 자동 생성된 미분, 방정식 수준의 어드조인트 풀이, 또는 맞춤 어드조인트를 기술한다. 지시 대상은 정확성을 평가하는 기준이 되는 타깃을 정의하며, 구현은 그 타깃을 얼마나 정확하게 근사하는지를 결정한다. 비용은 구현 방식과 함께, 역방향 패스에 필요한 상태를 어떻게 보존하거나 복원하는지에 달려 있다. 두 축을 교차하면 우리가 분류한 모든 방법과 엔진이 하나의 셀에 배치되고, 문헌이 뭉뚱그리는 주장들이 분리되며, 정확성과 메모리 사이의 겉보기 절충이 제약 때문이 아니라 방법이 구축되어 온 방식에서 비롯됨이 드러난다. 두 번째의 직교하는 분류 체계는 맵이 비매끄러운 접촉을 다룬다. 이어서 올바른 그래디언트가 도움이 되는지를 묻는다. 유용한 그래디언트가 손실되는 네 가지 메커니즘을 정리하여 하나의 테스트베드에서 측정하였으며, 거기서 정확한 도함수가 방정식 수준 어드조인트에 비해 갖는 이점은 솔버 예산만큼이나 피팅 타깃의 출처에 좌우된다. 또한 이러한 메커니즘이 작용하는 영역에서 영차(zeroth-order) 방법이 시뮬레이터 그래디언트보다 우수할 수 있다는 증거를 검토한다. 모델 클래스, 시스템 기법, 응용을 이 관점에서 조망하고, 보고 체크리스트, 이를 계산하는 공개 진단 도구, 연구 의제로 마무리한다.

arXiv:2611.12054v1math.NA

가우시안 프로세스의 저랭크 저정밀도 학습

Low-rank Low Precision Training of Gaussian Processes

대규모 가우시안 프로세스(GP) 학습은 로그 주변 우도와 그 기울기를 평가하는 데 크고 밀집된 커널 행렬이 관여하므로 계산적으로 어렵다. 본 논문은 AnchorNet 랜드마크 선택과 완전 독립 학습 조건부(FITC) 보정을 결합한 확장 가능한 저랭크 GP 학습 방법을 개발한다. 그 결과 얻어지는 목적 함수와 해석적 기울기는 전체 커널 행렬이나 그 도함수를 구성하지 않고 저랭크 인자, 대각 성분, 작은 밀집 행렬만으로 평가할 수 있다. 전체 학습 절차는 단정밀도로 구현되어 9개의 대규모 회귀 데이터셋에서 평가되었다. 이 문제들 전반에서 제안 방법은 기준 예측 정확도에 도달하면서 학습 시간을 크게 단축하지만, 필요한 근사 랭크는 데이터셋마다 다르다. 또한 전체 커널 예측 풀이의 수치적 거동을 연구하여, 조건수가 나쁜 문제에서는 단정밀도가 한계가 될 수 있음을 보인다. 마지막으로 선택된 행렬 연산을 fp16 또는 TF32로 추가 축소하는 방안을 조사한다. 이러한 저정밀도 변형은 추가적인 속도 향상이 미미하며, 축소된 시스템의 조건이 나쁠 때는 신뢰할 수 없게 될 수 있다.

arXiv:2611.11905v1cs.LG

물리 정보 신경망을 위한 확률적 Adam의 전역 수렴에 관하여

On the Global Convergence of Stochastic Adam for Physics-Informed Neural Networks

Adam 최적화기는 매우 비선형적이고 비볼록한 목적함수를 가진 신경망을 학습하는 데 널리 사용된다. 놀랍게도 Adam은 경험적 학습 손실을 거의 0에 가깝게 만드는 경우가 많다. 이 현상은 경사 하강법(GD)과 확률적 경사 하강법(SGD)에 대한 신경 접선 커널(NTK) 분석으로 부분적으로 설명되어 왔다. 그러나 Adam을 분석하는 것은 추가적인 어려움을 수반한다. Adam의 1차 모멘트 모멘텀은 반복 간에 확률적 경사를 결합하며, 적응형 2차 모멘트 전처리기는 업데이트에 사용되는 것과 동일한 확률적 경사에 의존한다. 본 논문에서는 전체 배치 경사 또는 미니배치 경사를 사용하여 충분히 넓은 2층 신경망을 학습할 때 Adam의 선형 수렴 보장을 증명한다. 전체 배치 Adam에 대해서는 과거 모멘텀의 영향을 제어하기 위해 리아푸노프 함수를 구성한다. 미니배치 Adam에 대한 분석은 정확한 가상 반복점(virtual-iterate) 표현, 확률적 경사와 적응형 전처리기 간 의존성에 대한 조건부 분석, 그리고 2차 모멘트 추정치에 대한 균등 집중 부등식에 기반한다. 우리는 전체 배치 Adam에 대해 경험적 손실의 기하급수적 감소를, 미니배치 Adam에 대해 고확률 사건 위에서의 제한된 기댓값 기준 기하급수적 감소를 증명한다. 회귀를 넘어, 미분 연산자와 내부 및 경계 점의 별도 샘플링이 추가적인 어려움을 야기하는 푸아송 방정식 풀이용 물리 정보 신경망(PINN)으로 수렴 분석을 확장한다. 신경망 너비와 Adam 매개변수에 대한 명시적 조건 하에서 결정론적 Adam과 확률적 Adam 모두에 대해 유사한 전역 수렴 보장을 증명하고, 미니배치 크기가 수렴에 미치는 영향을 규명한다. 이러한 결과는 Adam의 경험적 성공과 이론적 이해 사이의 간극을 메우는 데 기여하며, 기존 분석보다 PINN에 대해 더 정교한 수렴 보장을 제공한다.

arXiv:2611.11805v1math.NA

비탄성 균질화를 위한 미세구조 의존 내부 변수 모델의 연산자 학습: 근사와 복잡도

Operator Learning of Microstructure-Dependent Internal-Variable Models for Inelastic Homogenization: Approximation and Complexity

우리는 비탄성 이종 재료의 균질화된 구성 법칙의 학습을 연구하며, 값비싼 동시 단위 셀 시뮬레이션을 하중 이력과 미세구조 전반에 일반화되는 대리 모델로 대체하는 것을 목표로 한다. 균질화된 Kelvin--Voigt 선형 점탄성의 명시적 형태에 착안하여 순환 신경 연산자 프레임워크에 초점을 맞춘다. 이 프레임워크에서 내부 변수는 하중 이력 의존성에 대한 마르코프 근사를 가능하게 하며, 신경 연산자는 미세구조에 의존하는 구성 응답을 표현한다. 주기적 Kelvin--Voigt 점탄성에 대해, 2차원과 3차원에서 이 모델이 시간에 대해 균등하게, 그리고 허용 가능한 변형률 궤적과 미세구조 물성 장의 넓은 집합에 대해 균질화된 구성 법칙을 임의의 주어진 정확도로 근사할 수 있음을 보이는 보편 근사 정리를 증명한다. 이는 구간별 상수 재료에 대한 명시적 해를 사용하는, 다소 제한적인 기존 1차원 이론의 상당한 확장이다. 대신 2차원과 3차원에서는 균질화로부터 나타나는 기억 커널의 스펙트럼 표현에 기반한 더 다재다능한 근사를 채택한다. 이는 또한 근사에 충분한 내부 변수 차원에 대한 명시적 경계를 제시할 수 있게 하며, 이 경계는 상대 응력 오차의 역수와 재료 대비에 대해 로그적으로 증가한다. 점탄성과 결정 소성에 대한 수치 실험은 이론을 보완하며, 단위 셀 데이터로부터 균질화된 응답을 학습할 때 내부 변수 차원과 표본 복잡도의 역할을 보여 준다. 이론적 결과는 Lean 4에서 형식적으로 검증되었다.

arXiv:2611.11277v1math.OC

Adam 방식 전처리를 갖춘 분산 감소 확률적 헤시안 기반 네스테로프 가속

Variance-Reduced Stochastic Hessian-Driven Nesterov Acceleration with Adam-Style Preconditioning

확률적 1차 방법은 표본 추출된 기울기를 사용하여 반복당 비용을 줄이지만, 추정 오차가 수렴을 늦추고 일부 설정에서는 발산을 일으킬 수 있다. 가속을 유지하면서 기울기 정확도를 높이기 위해, 본 논문은 매끄러운 확률적 볼록 최적화를 위한 VR-Adam-SHANG의 스칼라 및 대각 버전을 개발한다. 이 방법들은 STORM 유형의 재귀적 추정, Adam 방식 전처리, SHANG의 가속 보간과 보정을 결합하며, 전체 기울기 갱신 없이 반복당 최대 두 번의 확률적 기울기 계산을 사용한다. 비편향 표집, 유계 분산, 기울기 잡음의 평균제곱 매끄러움 조건에서, 지정된 초기화를 갖춘 다항 스텝은 $O(1/K)$의 평균제곱 기울기 추정 오차와, $K$번 반복 후 $O(1/K^2)$의 초기 에너지 감쇠와 $O(1/\sqrt K)$의 확률적 항을 결합한 기대 목적함수 격차 상계를 제공한다. 이러한 보장은 전처리기의 단조성이나 그 고유값에 대한 균일한 양의 하한을 요구하지 않는다. 또한 이 분석은 사영된 비재귀 Adam-SHANG-s의 다항 스텝 수렴을 증명하여 원래 이론의 공백을 메운다. 실험에서는 동일한 표본 기울기 예산 하에서 방법들을 비교한다. 시험한 모든 설정에서, 두 버전 중 적어도 하나는 비교한 모든 방법 가운데 가장 낮은 평균 최종 목적함수 격차를 달성한다.

arXiv:2611.10961v1cs.AI

Improving Analytic Constants via Interpretable AI-Guided Lean Proof Refinement

AI agents are increasingly capable of discovering new mathematical results, yet their reasoning and generated proofs can be difficult to understand and verify. We introduce an interpretable framework for AI-guided mathematical discovery, focused on improving quantitative bounds on analytic constants. Our key insight is that existing proofs often contain slack in intermediate lemmas, which can be tightened without reconstructing the entire argument. To exploit this structure, we represent proofs as partially-formalized Lean blueprints: human-interpretable dependency graphs of definitions, lemmas, and theorems. An AI agent then iteratively refines the Lean code while preserving the blueprint's dependency structure, allowing local improvements to automatically propagate to a verified final bound. This interpretable structure allows humans to inspect the agent's refinements and understand how local improvements propagate to the final theorem. For Grothendieck's constant ($\mathcal{K}_G$), we obtain $$ \mathcal{K}_G \leq \frac{\pi}{2\log(1+\sqrt{2})} - 10^{-17}, $$ an explicit numerical improvement over Krivine's 1977 bound. For Korenblum's constant ($\mathcal{K}_K$), we obtain $$ \mathcal{K}_K \geq 0.356565, $$ improving Wang's 2025 bound of $0.3554$. Our experiments demonstrate the potential of both partial formalization and iterative agentic refinement for interpretable mathematical discovery.

arXiv:2611.10700v1cs.LG

국소 게이트 ReLU 아키텍처에서의 스펙트럼 편향 감소

Spectral Bias Reduction in Local Gated ReLU Architectures

경사 기반 방법으로 학습된 신경망은 목표 함수의 고주파 성분보다 저주파 성분을 더 빠르게 학습한다. 이러한 스펙트럼 편향은 잘 알려져 있으나, 어떤 아키텍처 선택이 이를 완화하고 어떤 선택은 그렇지 못한지는 훨씬 덜 분명하다. 우리는 학습 가능한 매개변수에 대해 선형인 얕은 ReLU 모델에 대해 이 문제를 연구한다. 여기서 각 모드는 그램 행렬 고윳값으로 주어지는 속도로 학습되며, 일반적인 대칭 쌍선형 형식 $a(\cdot,\cdot)$을 다루므로 최소제곱 회귀($a=$ $L^2$ 내적)와 변분 또는 물리 정보 기반 손실($a=$ $H^1$ 에너지 형식)이 하나의 분석의 두 사례가 된다. 이 틀 안에서 우리는 분할 단위(partition-of-unity) 유한요소와 중첩 슈바르츠 방법의 취지에 따라 각 ReLU 특징에 모자(hat) 분할 단위 가중치를 곱하여 얻는 게이트 국소 ReLU 사전(dictionary)을 제안한다. 결과로 얻는 그램 행렬은 임의의 국소 쌍선형 형식에 대해 블록 띠 행렬이며, 행렬값 심볼이 스펙트럼을 좌우하는 블록 퇴플리츠 내부를 갖는다. 두 형식은 이후 매우 다르게 거동한다. $L^2$ 회귀에서는 심볼이 0으로부터 떨어져 유계이고 비율이 윈도 수에 대해 균일하며, 주파수에 따른 학습률의 측정된 분포 폭이 동일한 모델 크기에서 $1.9\times10^{5}$에서 $4.5$로 감소한다. $H^1$ 강성 행렬에서는 심볼이 영주파수에서 0이 되며, 게이팅은 $\Theta(N^2)$ 조건수를 그대로 두고 편향을 제거하는 대신 주파수 순서를 뒤집는다. 동일한 내부 스텐실로 구성한 전처리기는 스펙트럼 편향을 바로잡으며, 이는 아키텍처만으로는 충분하지 않음을 보여 준다. $1$차원 회귀와 푸아송 문제에 대한 실험은 이 이분법을 확인하며, 은닉층 매개변수까지 함께 학습하더라도 회귀에서의 효과는 지속된다.

arXiv:2611.10487v1math.OC

GEAR: A GPU-Accelerated Global Solver for Bounded Continuous Nonlinear Programs via Linear Bound Propagation

We present a novel GPU-accelerated global solver for constrained nonlinear programming (NLP) inspired by the efficient linear bound propagation framework in neural network (NN) verification. Existing work on NN verification, a problem that can be cast as feasibility detection for a nonlinear objective, demonstrated orders-of-magnitude speedups with the linear bound propagation-based framework when compared to traditional solvers. Extending this paradigm to global nonlinear programming requires addressing many challenges: a global constrained NLP solver must effectively exploit all, possibly unstructured, nonlinear constraints to improve the objective, whereas NN verification typically handles simple input box constraints over a well-structured NN and does not directly optimize an objective function. We address these challenges by fully exploiting the linear bounds produced by bound propagation: these linear bounds can be viewed as relaxations of nonlinear constraints and used to provide lower bounds, check infeasibility, and guide the search for a primal solution. In addition, we propose tighter linear relaxations for bilinear, quotient, and other commonly used nonlinear functions in NLP problems, and a projected augmented Lagrangian method tightly coupled to our dual solving procedure to produce primal solutions. Our method solves 421 of 505 bounded and continuous NLP problems in the GAMS and MINLPLib benchmarks under a 180-second limit, more than each of the six global solvers we compare with, including Gurobi and BARON (commercial), and SCIP (open-source). Sixteen of these problems are certified by none of the six global solvers; all of them contain exponential, logarithmic, or trigonometric terms, which are often challenging for traditional approaches. Project webpage is at https://verified-intelligence.github.io/GEAR.

arXiv:2611.09980v1cs.CV

비평활 베이지안 영상 처리를 위한 전처리 암시적 중점 랑주뱅 샘플링

Preconditioned Implicit Midpoint Langevin Sampling for Non-Smooth Bayesian Imaging

우리는 비평활 정칙화를 갖는 고차원 로그 오목 목표 분포를 위한 전처리 암시적 중점 랑주뱅 샘플러인 P-IMLA를 소개한다. 문제는 행렬 전처리로 가능해지는 큰 스텝 크기가 바로 전처리된 오일러-마루야마 방법이 정상 분산을 부풀리는 영역이라는 점이다. 암시적 중점법은 케일리 변환 항등식을 통해 이러한 초과분을 제거하여, P-IMLA가 어떤 스텝 크기에서도 가우시안에 대해 정확하도록 만든다. 가우시안을 넘어서, 백색화는 IMLA의 날카로운 수축률을 $\kappa_{\mathrm{eff}}$로 전이시키며, 후방 오차 분석은 명시적 평활성 가정 하에서 오일러 유형의 확산 편향이 아닌 드리프트 전용 편향을 제공한다. $M$-노름 모로 포락선은 세 항의 오차 예산을 갖는 근접 비평활 변형을 제공한다. 통제된 가우시안 및 TV 정칙화 영상 실험은 예측된 분리를 확인해 준다. 즉, 전처리하지 않은 중점 기법은 $\kappa_f$가 커질수록 긴 과도 상태를 유지하는 반면, P-IMLA는 $\kappa_{\mathrm{eff}}$에 의해 좌우되며 분산이 거의 정확하게 유지된다.

arXiv:2610.36558v2cs.LG

고차원 반사 브라운 운동의 효율적인 정상상태 꼬리 계산을 위한 정칙 코시 네트워크

Holomorphic Cauchy Networks for Efficient Stationary Tail Computation in High-Dimensional Reflected Brownian Motions

고차원 반사 브라운 운동(RBM)의 정상상태 꼬리 계산은 여전히 계산적으로 어렵다. NN4MGF의 공유 좌표 기본 수반 관계(BAR) 프레임워크를 바탕으로, 우리는 정칙 코시 네트워크(Holomorphic Cauchy Networks, HCN)를 개발한다. 복소수 값을 기본으로 하는 유리 코시 부분 네트워크는 극점이 없는 영역에서 정칙성을 강제하여, 샘플링된 코시–리만 페널티와 입력 도함수 그래프를 제거한다. 정확한 원점 고정과 경계 좌표 제외는 구조적 항등식을 강제하며, 고정된 상호작용은 종속 변환을 표현한다. 정칙-로그 가정하에서 우리는 제약된 아키텍처에 대한 값과 1차 도함수의 동시 근사를 증명하고, 0이 아닌 교차 공분산 하에서 좌표 전용 표현에 대한 혼합 도함수 하한을 증명한다. 닫힌 형태의 실수축 도함수와 순차적 역전파는 메모리를 추가로 제어한다. 동일한 NVIDIA H100 NVL에서 시험한 30차원 HCN 구성은 NN4MGF보다 최대 할당 메모리를 약 10배 적게 사용하고 평균 갱신 시간이 9.7배 짧으며, 각각의 예정된 갱신 횟수로 외삽하면 전체 스케줄 갱신 시간 비율은 58.2로 예측된다. 고차원 실행당 6,400만 개의 기본 입력을 샘플링할 때, HCN은 노트북 GPU에서 50차원에 도달하며 임계값 1~8에 대한 평균 상대 오차는 6.367%이다. 차수를 맞춘 비교에서도 주요 평가 범위에서 더 낮은 평균 상대 오차가 보고되며, 2차원 Harrison 비곱(non-product) 벤치마크에서 1.422% 대 6.684%이다. 10차원 상관 RBM 벤치마크에서 HCN은 시뮬레이션 기준값 대비 임계값 1~8에 대해 3.829%의 평균 상대 오차를 달성하며, 독립 주변분포 기준선의 19.386%와 비교된다.

arXiv:2605.15399v2cs.LG

손익분기 복잡도: 신경 편미분방정식 풀이기에 대한 새로운 관점

Breakeven complexity: A new perspective on neural partial differential equation solvers

편미분방정식(PDE)의 신경 대리 풀이기는 특히 많은 횟수의 풀이가 필요한 상황에서 수치 방법 대비 극적인 속도 향상을 약속한다. 그러나 현재의 정확도 기반 평가는 두 가지 핵심 문제를 충분히 고려하지 않는다. (1) 신경 풀이기는 데이터 생성, 학습, 튜닝에 상당한 초기 비용이 든다. (2) 고전적 풀이기도 충분히 낮은 시뮬레이션 비용으로 저충실도 해를 생성할 수 있다. 이러한 현실을 명시적으로 반영하고 종단 간 비용을 온전히 포함하기 위해, 학습된 풀이기가 오차가 동등한 전통적 풀이기에 비해 비용 효율적이 되기까지의 순방향 풀이 횟수를 세는 지표인 손익분기 복잡도를 중심으로 한 평가 프레임워크를 제안한다. 이 척도를 평가하기 위해 스케일링 법칙을 적용하여 데이터 생성에 얼마의 학습 예산을 할당할지 결정하고, 다양한 설정에서 매끄러운 오차 매칭을 달성하는 방법을 논의한다. APEBench의 2차원 주기 영역 위 세 가지 PDE와, GPU 네이티브 PyFR 코드로 생성한 다중 장애물 주위 유동의 새로운 벤치마크에서 여러 신경 PDE 풀이기의 손익분기 복잡도를 평가한다. 여러 발견 중에서도, 본 결과는 비용, 차원, 롤아웃, 물리 영역(예: 더 높은 레이놀즈 수) 등의 측면에서 문제가 어려워질수록 신경 PDE 풀이기가 더 효과적이 됨을 시사한다.

arXiv:2605.06281v2cs.LG

INEUS: 고차원 PIDE를 위한 반복적 신경망 풀이기

INEUS: Iterative Neural Solver for High-Dimensional PIDEs

본 논문에서는 편적분미분방정식(PIDE)을 위한 무격자 반복적 신경망 풀이기 INEUS를 소개한다. 이 방법은 비국소 점프 적분의 명시적 계산을 단일 점프 샘플링으로 대체하고, PIDE 풀이를 일련의 재귀적 회귀 문제로 재정식화한다. 물리 정보 신경망(PINN)과 마찬가지로 INEUS는 전체 시공간 영역에서 전역 해를 학습하지만, 비국소 항을 더 효율적으로 처리하며 PIDE 잔차 전체를 미분하는 계산 비용이 큰 과정을 피한다. 이러한 특징 덕분에 INEUS는 고차원 PDE와 PIDE에 특히 적합하다. 선형 PIDE에 대한 수축 기반 수렴 증명을 바탕으로, 수치 실험에서 INEUS가 다양한 고차원 선형 및 비선형 예제에 대해 정확하고 확장 가능한 해를 제공함을 보인다.

arXiv:2605.05435v2cs.LG

조건부 생성적 압축 센싱을 위한 능동 학습

Active Learning for Conditional Generative Compressed Sensing

생성적 압축 센싱은 사전 학습된 생성기의 치역을 비선형 모델로 사용하여 제한된 측정으로부터 구조화된 신호를 복원한다. 우리는 프롬프트 조건부 생성 모델을 이용하여 부표본 푸리에 측정으로부터 이미지를 복원하는, 이 문제의 조건부 버전을 연구한다. 우리의 프레임워크는 조건화의 두 가지 역할, 즉 샘플링 분포를 설계하는 데 쓰이는 프롬프트와 복원 모델을 정의하는 데 쓰이는 프롬프트를 분리한다. ReLU 및 립시츠 조건부 생성기에 대해, 프롬프트가 일치하는 Christoffel 샘플링이 기존의 거의 최적인 생성적 압축 센싱 이론과 동일한 Christoffel 복잡도 상수를 유지하는 반면, 프롬프트가 불일치하면 명시적인 호환성 페널티가 발생함을 보여 주는 안정적 복원 한계를 증명한다. Stable Diffusion을 이용한 실험은 프롬프트가 Christoffel 샘플링 분포를 의미 있게 재형성하고 이미지 복원에 영향을 미침을 보여 준다. 전반적으로 우리의 결과는 프롬프트를 센싱, 근사, 복원을 위한 설계 변수로 다룰 것을 시사하며, 조건화, 샘플링, 최적화를 함께 고려해야 하는 압축 센싱에서 조건부 생성 모델의 실용적 활용을 위한 새로운 방향을 연다.

arXiv:2602.07603v2cs.LG

닫힌 형태의 암시적 신경 표현

Closed-Form Implicit Neural Representations

미세한 세부 사항을 포착하기 위한 암시적 신경 표현(INR) 학습은 일반적으로 반복적인 역전파에 의존하며, 대상이 매우 불균일한 주파수 성분을 보일 때 스펙트럴 편향으로 인해 어려움을 겪는 경우가 많다. 우리는 역전파가 필요 없는 INR인 ELM-INR을 제안한다. 이 방법은 영역을 서로 겹치는 부분 영역으로 분해하고, 각 국소 문제를 극한 학습 기계(Extreme Learning Machine, ELM)를 이용해 닫힌 형태로 적합하여 반복적 최적화를 안정적인 선형 최소제곱 해로 대체한다. 이러한 설계는 단위 분할(partition of unity)을 통해 국소 예측기를 결합함으로써 빠르고 수치적으로 강건한 복원을 제공한다. 고정된 국소 용량 하에서 근사가 어려워지는 지점을 이해하기 위해, 우리는 스펙트럴 Barron 노름 관점에서 이 방법을 분석하며, 전역 복원 오차가 스펙트럴 복잡도가 높은 영역에 의해 지배됨을 밝힌다. 이러한 통찰을 바탕으로, 용량이 제한된 환경에서 복원 품질을 향상시키기 위해 부분 영역 간 스펙트럴 복잡도를 균형 있게 맞추는 적응형 메시 세분화 전략인 BEAM을 도입한다.

arXiv:2602.00474v3stat.ML

최소 주변 몫공간을 통한 마르코프 연쇄의 지속-과도 정책 평가

Persistent-Transient Policy Evaluation for Markov Chains via Minimal Peripheral Quotients

우리는 가约적(reducible)이며 주기적일 수 있는 유한 마르코프 연쇄에 대한 고정 정책 평가를 연구한다. 이득(gain)과 편향(bias) 분해를 사용하는 고전적 평가 방법은 항상 진단적이지는 않다. 이득은 불변 체사로(Cesàro) 평균만을 기록하며, 지속적인 위상 의존 행동은 진정으로 과도적인 효과와 함께 편향에 흡수되기 때문이다. 우리는 전이행렬 $P$의 실수 주변 불변 부분공간 $\mathcal{K}(P)$를 이러한 모호성의 원천으로 규명한다. $\mathcal{K}(P)$로 몫공간을 취하는 것은 감쇠하지 않는 모든 모드를 제거하고 나머지 동역학을 엄밀하게 안정하게 만드는 최소의 정확한 몫공간이다. 핵이 $\mathcal{K}(P)$인 게이지 사영 $\Pi$를 선택하면, 보상은 $r = g_\Pi^\star + (I-P)v_\Pi^\star$라는 유일한 분해를 갖는다. 여기서 $g_\Pi^\star$는 지속적 국면 프로파일이고 $v_\Pi^\star$는 게이지 고정된 과도 성분이다. 고전적인 정규화 이득 및 편향과의 정확한 비교를 통해, 새로운 쌍이 동일한 정보를 지속적 프로파일과 과도 몫공간의 게이지 고정 대표원으로 재배분함을 보인다. 이 분해는 유한 구간 수익을 재구성하고, 상태별 평균 보상을 복원하며, 과도 비용 해석을 허용하고, 생성 모델 하에서 안정적인 추정량을 제공한다.

arXiv:2611.09053v1math.NA

좌표 변환을 통한 물리 정보 신경망의 해 기울기 등분포

Equidistribution of Solution Gradients in Physics-Informed Neural Networks via Coordinate Transformations

물리 정보 신경망(PINN)은 최적화의 어려움과 스펙트럼 편향으로 인해 급격한 기울기를 가진 해를 근사하는 데 자주 어려움을 겪는다. 함수 복잡도를 줄이기 위해 해의 기울기를 재분배하는 격자 생성의 스트레칭 접근법에서 나온 기울기 등분포 원리에 착안하여, 우리는 학습 가능한 좌표 변환을 도입해 물리 영역을 물리적 해가 근사적으로 아핀이 되는 계산 영역으로 사상함으로써 신경망이 더 쉽게 학습하도록 하는 좌표 변환 PINN(CTPINN)을 제안한다. 변환의 두 가지 구성을 제안하는데, Majorant에 기반한 명시적 구성과 가역 신경망에 기반한 암시적 구성이다. 실험적으로, 명시적 구성은 명시적 좌표 변환이 가능한 편미분방정식에서 정확도를 향상시킬 수 있으며, 암시적 구성은 다른 고급 PINN 모델과 결합되는 효율적인 플러그인 모듈로서 다양한 어려운 편미분방정식 벤치마크 전반에서 성능을 향상시킬 수 있다.