arXiv:2606.28833v3 cs.LG

Active Quantum Kernel Acquisition for Gaussian Process Regression

Jian Xu, Artur Miroszewski, John Paisley, Delu Zeng, Qibin Zhao

제출 2026-06-27

한국어 초록

근거리 하드웨어에서의 양자 커널 추정은 샷 예산이 한정되어 있다: 커널 그람 행렬의 모든 원소는 유한한 수의 회로 실행으로 샘플링해야 하는 베르누이 기댓값이다. 양자 커널 분류(classification)에 관한 최근 연구들은 커널 원소들에 대해 하위 태스크 민감도에 따라 가중치를 부여하여 비균일하게 샷을 할당하면 목표 정확도 달성에 필요한 샷 예산을 줄일 수 있음을 보였다. 우리는 이 아이디어를 가우시안 프로세스(GP) 회귀로 확장한다. GP 회귀는 분류의 부호 전용 출력보다 하위 양(전체 스펙트럼 사후 분산, 로그 행렬식, 주변 가능도(marginal likelihood))이 커널 오차에 더 긴밀하게 결합되는 환경이다. 우리는 세 가지 폐쇄형(closed-form) 쌍 수준 민감도인 예측 결합 $|α_iα_j|$, 리브-원-아웃(leave-one-out) 잔차, 주변 가능도 그래디언트를 유도하고, 이를 네이만(Neyman) 방식의 최소 분산 할당 규칙에 적용한다. 워밍업 민감도 추정치 자체가 노이즈가 클 때 발생할 수 있는 치명적인 과집중(over-concentration)을 방지하기 위해, 누락 원소 섭동에 대한 프로베니우스(Frobenius) 하한으로 정당화되는 높은 균일 커버리지 하한을 추가한다. 네 가지 UCI 벤치마크와 두 가지 합성 RBF + 베르누이 통제 연구에서, 결과 할당기는 중간 예산 체제에서 균일 할당 대비 $10$--$21\%$의 테스트 RMSE 개선을 제공한다. 이 성능 향상은 (i) 양자 자연 데이터에서의 실제 ZZ 및 Pauli-Z 양자 커널(저예산에서 $-13$--$15\%$, 쌍체 $p<0.05$)과 (ii) 베이즈 구적법(Bayesian quadrature), 이분산 회귀(heteroscedastic regression), 하이퍼파라미터 학습, 다출력 코크리깅(multi-output Cokriging)의 네 가지 하위 태스크로 이전된다. UCI 특징을 ZZ 커널에 임베딩한 경우에는 성능 향상이 사라지며, 이는 샷 할당이 활용할 것이 없는 지수 집중 체제(exponential-concentration regime)와 일치한다.

원문 초록

Quantum kernel estimation on near-term hardware is shot-budgeted: every entry of the kernel Gram matrix is a Bernoulli expectation that must be sampled with a finite number of circuit executions. Recent work on quantum kernel classification has shown that allocating shots non-uniformly across kernel entries, weighted by their downstream task sensitivity, can reduce the shot budget required to reach a target accuracy. We extend this idea to Gaussian process (GP) regression, a setting whose downstream quantities (full-spectrum posterior variance, log-determinant, marginal likelihood) couple to kernel error more tightly than the sign-only outputs of classification. We derive three closed-form pair-level sensitivities predictive coupling $|α_iα_j|$, leave-one-out residual, and marginal-likelihood gradient and plug them into a Neyman-style minimum-variance allocation rule. To prevent catastrophic over-concentration when the warm-up sensitivity estimate is itself noisy, we add a high uniform coverage floor justified by a Frobenius lower bound on the missing-entry perturbation. On four UCI benchmarks and two synthetic RBF + Bernoulli controlled studies, the resulting allocator delivers $10$--$21\%$ test-RMSE improvement over uniform allocation across the moderate-budget regime. The gain transfers (i) to genuine ZZ and Pauli-Z quantum kernels on quantum-natural data ($-13$--$15\%$ at low budget, $p<0.05$ paired) and (ii) to four downstream tasks (Bayesian quadrature, heteroscedastic regression, hyperparameter learning, multi-output Cokriging). On UCI features embedded into a ZZ kernel the gain disappears, consistent with the exponential-concentration regime where shot allocation has nothing to exploit.

요약

가우시안 프로세스(GP) 회귀를 위한 능동적 양자 커널 획득(AQKA-GP)을 제안하며, 한정된 샷 예산 내에서 예측 결합 $|\alpha_i\alpha_j|$, leave-one-out 잔차, 주변 가능도 그래디언트라는 세 가지 폐쇄형 쌍 수준 민감도를 Neyman 최소 분산 할당 규칙에 적용해 커널 그람 행렬의 샷을 비균일하게 분배한다. UCI 벤치마크 및 합성 실험에서 균일 할당 대비 테스트 RMSE를 10–21% 개선하고, 실제 ZZ 및 Pauli-Z 양자 커널에서도 저예산 구간에 13–15%의 성능 향상을 확인했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28833v3제출 시각 미확인
  2. arXiv:2606.28833v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08335v1stat.ML공통 태그 Bayesian Inference, Active Learning, Gaussian Processes

스코어 매칭을 통한 베이지안 실험 설계

Bayesian Experimental Design via Score Matching

베이지안 실험 설계(BED)에 대한 정책 기반 접근법은 이전에 수집된 데이터를 바탕으로 지능적인 설계 결정을 적응적으로 내리는 심층 정책 네트워크의 학습을 가능하게 한다. 그러나 이러한 정책의 학습은 기대 정보 이득(EIG)의 이중 난해성(double intractability)이라는 근본적인 문제로 인해 제약을 받는 경우가 많다. 이로 인해 정책 자체의 최적화에 투자할 수 있는 노력을 제한하는, 비용이 크거나 복잡한 근사 방법이 요구된다. 이를 해결하기 위해, 우리는 EIG의 이중 난해성을 정책 학습으로부터 분리할 수 있음을 보인다. 구체적으로, 사용되는 정책에 독립적인 스코어 매칭 문제를 먼저 풀고, 학습된 스코어 근사를 활용하여 단일 난해한(singly intractable) 방식으로 정책을 학습한다. 이를 통해 핵심적인 곱셈적 비용이 덧셈적 비용으로 전환되고, 정책 학습 자체의 계산 부담이 경감되어, 아키텍처 탐색, 하이퍼파라미터 튜닝, 또는 지역 최적해 회피 등 정책을 여러 번 학습해야 하는 경우에 훨씬 저렴하게 학습할 수 있다. 실험에서는 가능도 평가에서 곱셈적 비용을 유발하지 않고 여러 경쟁력 있는 정책을 학습하였으며, 하이퍼파라미터 또는 아키텍처 탐색 없이도 최적의 정책을 선택할 수 있어 성능을 향상시킬 수 있음을 보였다.

arXiv:2610.13656v1stat.ML공통 태그 Bayesian Inference, Gaussian Processes

비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론

Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields

잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.

arXiv:2610.13804v1stat.ML공통 태그 Bayesian Inference, Gaussian Processes

제약 조건 하의 확률론적 수치해석: 선형 부등식 제약 조건 하의 선형 편미분방정식을 위한 가우시안 프로세스 솔버

Constrained Probabilistic Numerics: Gaussian Process Solvers for Linear PDEs under Linear Inequality Constraints

선형 편미분방정식(PDE)을 위한 가우시안 프로세스(Gaussian process) 솔버는 점 추정치 대신 사후확률을 반환하지만, PDE 잔차, 경계 데이터, 측정값과 같은 등식 정보에 대해서만 조건부화(conditioning)를 수행합니다. 그러나 관심을 두는 많은 해는 비음수성(nonnegativity), 단조성(monotonicity), 무차익(absence of arbitrage)을 포함한 부등식 제약을 따르며, 등식 조건부화만으로는 이를 강제할 수 없습니다. 본 연구에서는 가우시안 프로세스 사전확률을 선형 등식 관측값과 유한차원 부등식 사건에 결합하여 조건부화하는 것이, 해 공간 상의 보렐 측도(Borel measure) 관점에서 순차적으로 조건부화하는 것과 동등함을 증명합니다. 따라서 물리 정보가 반영된(physics-informed) 사후확률은 가상 지점에서의 부등식 업데이트를 위한 유효한 사전확률이 됩니다. 결합 법칙은 비가우시안(non-Gaussian)이지만 절단 정규분포(truncated-Gaussian) 모멘트를 통해 계산 가능하며, PDE 조건부화와 부등식 업데이트 모두 수정할 필요가 없습니다. 본 연구진은 포아송(Poisson) 벤치마크, 옵션 가격 표면, 대기질 필드에서 이 구성을 평가했습니다. 불완전한 경계 데이터 조건에서, 단조성 제약 조건은 2차원 포아송 재구성의 오차를 $63\%$ 낮췄습니다. 20개의 호가만 남기도록 축소한 실제 S&P 500 옵션 체인에서, 무차익 제약 조건은 홀드아웃 외삽 오차를 $22\%$ 줄였고 캘린더 차익 비율을 $10\%$에서 $1\%$로 낮췄습니다. 네 가지 실제 대기질 스냅샷에서는, 관측소 수가 가장 희소할 때 비음수성 제약이 가우시안 모멘트 기반 음수 꼬리 프록시(sub-zero-tail proxy)를 $74\%$ 감소시켰습니다. 평균 정확도 및 제약 진단 수치의 변화는 데이터 체제에 따라 다르게 나타났습니다. 등식 사후확률 하에서 노이즈가 포함된 가상 제약 사건의 확률은 업데이트 전 지정된 경계와의 일치도를 측정합니다. 이러한 구성은 허용 가능성(admissibility)을 사후 처리 단계에서 확률론적 PDE 솔버를 위한 조건부 정보로 전환합니다.

arXiv:2608.05995v3cs.LG공통 태그 Bayesian Inference, Gaussian Processes

사후 위험을 활용한 불확실성 분리를 위한 정답 프레임워크

A Ground-Truth Framework for Uncertainty Disentanglement with Posterior Risk

안전성이 중요한 응용 분야에서는 신뢰할 수 있는 불확실성 추정이 필수적이다. 이러한 추정치가 실제로 유용하려면 모델의 불확실성을 유발하는 근본적인 원인을 이해해야 하며, 이는 전체 불확실성을 인식론적 불확실성(epistemic uncertainty)과 우발적 불확실성(aleatoric uncertainty)으로 분리(disentanglement)하도록 유도한다. 기존의 불확실성 개념들은 포착하는 원인이 서로 다르며, 그에 따라 우발적 불확실성과 인식론적 불확실성에 대한 정의도 달라 보편적으로 받아들여지는 정의가 존재하지 않는다. 본 논문에서는 관측된 표본이 주어졌을 때 타당한 정답 함수들의 분포 하에서 예측기의 기대 손실로 정의되는 표본 조건부 점별 사후 위험(sample-conditional pointwise posterior risk)을 통해 불확실성을 정의한다. 이 정의는 확률론적 불확실성 개념과 위험 기반 불확실성 개념을 통합한다. 최신 불확실성 분리 방법들을 평가하기 위해, 주로 사후 위험으로 정의된 정답 불확실성 및 흔히 사용되는 대안적 불확실성 정의들과 추정치를 직접 비교하는 프레임워크를 개발한다. 실험 결과, Spectral-normalized Neural Gaussian Processes와 Variational Latent Gaussian Processes가 정답 불확실성을 가장 근접하게 복원하는 반면, 대부분의 방법은 사후 위험보다 사후 분산을 더 밀접하게 추적하여 예측기의 바이어스를 놓치는 것으로 나타났다. 방법론의 순위 비교를 넘어, 추정된 우발적 불확실성과 인식론적 불확실성이 얼마나 강하게 얽혀 있는지, 그리고 불확실성의 품질이 모델링 선택에 얼마나 민감한지 조사하여 불확실성 분리를 위한 실용적인 지침을 제시한다. 추가적인 방법 개발 및 검증을 지원하기 위해, 사후 분포가 알려져 있어 정답 불확실성 계산이 가능한 13개의 준합성(semi-synthetic) UCI/OpenML 데이터셋을 공개한다. 코드와 데이터는 논문 채택 시 공개될 예정이다.

arXiv:2609.26867v1stat.ME공통 태그 Bayesian Inference, Gaussian Processes

공간 및 네트워크 객체를 활용한 덧셈 비모수적 회귀

Additive Nonparametric Regression with Spatial and Network Objects

본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.