arXiv:2605.12118v3 stat.ML

Keeping Score: 점수 증강 신경망 비율 추정을 위한 적응형, 튜닝이 필요 없는 손실 가중치 기법

Keeping Score: Adaptive, Tuning-Free Loss Weighting for Score-Augmented Neural Ratio Estimation

Alexander Shen, Mikael Kuusela

제출 2026-05-12

저자 비고

arXiv Comments

8 pages of main text, 17 pages of appendices, 14 figures

한국어 초록

확률적 프로세스 모델을 위한 신경망 가능도 대체 모델(neural likelihood surrogate, 예: 신경망 비율 추정(Neural Ratio Estimation))은 일반적으로 시뮬레이션된 데이터에 대한 확률적 분류(probabilistic classification)를 통해 학습되며, 이는 대체 모델 품질과 학습 비용 간의 트레이드오프를 강제한다. 정확한 점수(score) $\nabla_θ\log p(x \mid θ)$를 구할 수 있는 구조화된 모델의 경우, 교차 엔트로피 손실에 점수 매칭(score-matching) 항을 추가하여 이 정보를 학습에 반영할 수 있다. 그러나 두 손실 간의 최적 가중치는 사전에 알 수 없으며, 이를 수동으로 선택하려면 비용이 많이 드는 튜닝이 필요해 계산 비용 절감 효과를 상쇄한다. 우리는 손실 기울기(loss gradient)를 기반으로 학습 중에 점수 손실 가중치를 설정하는 적응형, 튜닝이 필요 없는 알고리즘을 제안하며, 이는 표준 분류기 학습에 최소한의 오버헤드만을 추가한다. 우리는 네트워크 동역학과 공간적 프로세스를 다루는 사례 연구를 통해 이 접근법을 평가하였으며, 더 많은 학습 데이터를 생성하는 것보다 훨씬 낮은 계산 비용으로 대체 모델 품질을 향상시킨다는 것을 보였다. 특히, 일부 경우에는 본 접근법이 학습 시간을 1.1배 미만으로 증가시키면서도 학습 데이터를 10배 늘린 것과 동등한 다운스트림 추론(inference) 성능을 달성한다.

원문 초록

Neural likelihood surrogates (e.g., Neural Ratio Estimation) for stochastic process models are commonly trained via probabilistic classification on simulated data, which forces a tradeoff between surrogate quality and training costs. For structured models where the exact score $\nabla_θ\log p(x \mid θ)$ is available, this information can be incorporated into training by augmenting the cross-entropy loss with a score-matching term. However, the optimal weighting of the two losses is not known a priori, and selecting it by hand requires expensive tuning that undercuts the computational savings. We propose an adaptive, tuning-free algorithm that sets the score loss weights during training based on loss gradients, adding minimal overhead to standard classifier training. We evaluate our approach on case studies involving network dynamics and spatial processes, demonstrating that it improves surrogate quality at a drastically lower computational cost than generating more training data. Notably, in some cases, our approach achieves downstream inference performance equivalent to a 10x increase in training data with less than a 1.1x increase in training time.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.12118v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.11521v2cs.LG공통 태그 Density Estimation, parameter estimation, score matching

볼록 영역에서의 일반화된 점수 매칭

Generalised Score Matching on Convex Domains

점수 매칭(score matching)은 최대가능도 추정(maximum-likelihood estimation)에서 요구하는 정규화 상수 계산을 회피합니다. 제약이 있는 영역(constrained domains)에서는 일반화된 점수 매칭 변형들이 경계 조건 항이 사라지도록 피셔 발산(Fisher divergence)에 가중치를 부여합니다. 본 연구에서는 이웃 영역의 기하학적 구조가 가중치를 결정하는 최소 확률 흐름(minimum probability flow)의 작은 이웃 극한(small-neighbourhood limit)으로서 $\mathbb{R}^{d}$의 열린 볼록 부분집합(open convex subsets)에 대한 일반화된 점수 매칭을 유도합니다. $\mathbb{R}^{d}$에서의 고전적 점수 매칭 및 $\mathbb{R}_{+}^{d}$의 음이 아닌 데이터에 대한 변형들의 가중치를 포함하여, 모든 $C^{2}$ 양의 정부호(positive definite) 가중치가 이러한 방식으로 발생합니다. 지수족(exponential families)에 대해, 우리는 표준적인 볼록성(convexity), 일치성(consistency) 및 점근적 정규성(asymptotic normality) 결과를 이러한 모든 가중치로 확장하고, 특정 경계 조건 하에서 추정량이 참 매개변수로 수렴함을 보여줍니다. 다포체(polytope) 상의 절단 정규분포(truncated Gaussian)와 심플렉스(simplex) 상의 디리클레 분포(Dirichlet distribution)에 대해, 제안된 추정량들은 50개의 실측(ground-truth) 설정 중 최소 42개에서 비교된 모든 방법 중 가장 낮은 중앙값 오차를 달성합니다.

arXiv:2609.28391v1quant-ph공통 태그 Density Estimation, parameter estimation, score matching

양자 스코어 매칭과 열적 상태 학습에의 응용

Quantum score matching with applications to learning thermal states

스코어 매칭(score matching)은 계산이 불가능한 정규화(normalization) 상수, 즉 분배 함수(partition function)를 평가하지 않고도 데이터로부터 모델을 학습할 수 있게 함으로써 고전 생성 학습 분야에서 큰 진전을 이끌어 왔다. 그러나 양자 상태는 스칼라 확률이 아니라 비가환(noncommuting) 밀도 연산자로 기술되므로, 이 원리를 양자 학습으로 확장하려면 그 토대를 다시 생각해야 한다. 비가환성은 양자 스코어를 정의하는 데에서뿐만 아니라, 효율적인 회로 구현과 엄밀한 이론적 보장을 갖춘 학습(training) 프레임워크를 개발하는 데에서도 근본적인 어려움을 야기한다. 본 연구에서는 종단 간(end-to-end) 이론적 보장을 갖춘 일반적인 양자 스코어 매칭 프레임워크를 정립하여 이러한 간극을 메운다. 깁스 상태(Gibbs-state) 학습에 적용했을 때, 제안한 접근법은 추가적인 열적 상태(thermal-state) 준비를 필요로 하지 않으며, 국소성(locality)과 상호작용 차수(interaction degree)가 유계인 해밀토니안에 대해 고온 영역에서 정보이론적으로 최적인 샘플 복잡도를 달성한다. 이는 스코어 매칭을 양자 깁스 상태 학습에서 최고 수준의 성능을 얻는 새로운 경로로 자리매김하게 한다. 이러한 이론적 결과에 더하여, 수치 시뮬레이션 결과 제한된 측정 예산 하에서 그래디언트가 부정확하게 추정되더라도 제안한 방법이 여전히 효과적임을 보인다. 또한 IBM 양자 하드웨어에서의 실험은 양자 스코어 매칭이 NISQ 친화적임을 추가로 보여 준다. 즉, 어떠한 오류 완화나 정정 없이도 해밀토니안 매개변수(parameter)의 상대 오차를 64%에서 약 10%로 줄인다. 이러한 결과를 종합하면, 스코어 매칭을 양자 상태 학습을 위한 실험적으로 구현 가능한 패러다임으로 확장한 것이다.

arXiv:2609.26705v2quant-ph공통 태그 Density Estimation, parameter estimation

보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?

When are bosonic Gaussian states classical to learn?

물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.