PyTorchKR Papers

최신 논문

총 824편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2404.07661v3stat.ML

불균형 분류 문제를 위한 강건한 성능 지표

Robust performance metrics for imbalanced classification problems

We show that established performance metrics in binary classification, such as Matthews' correlation coefficient (MCC), Cohen's $\kappa$, the F-score or the Jaccard similarity coefficient are not robust to class imbalance in the sense that if the proportion of the minority class tends to $0$, the true positive rate (TPR) of the Bayes classifier under these metrics {becomes very small or even tends to $0$}. Thus, in imbalanced classification problems, these metrics favour classifiers which ignore the minority class. To alleviate this issue we introduce robustified modifications of the MCC, of Cohen's $\kappa$ and of the F-score with an additional tuning parameter which allows to adapt the amount of robustness against class imbalance. As theoretical guarantee we show that the Bayes-optimal classifier for these robustified performance metrics, when expressed in terms of the density ratio $f_1/f_0$ of the class-conditional densities $f_i$, has a threshold parameter which is upper-bounded in terms of the tuning parameters. Therefore, even in strongly imbalanced settings, the TPR associated to this classifier will be bounded away from $0${, provided that $f_1/f_0$ exceeds this bound with positive probability under the positive class}. We numerically illustrate the behaviour of the various performance metrics and the effect of the tuning parameters in simulations as well as on a credit default data set. We also discuss connections to the receiver operating characteristic and precision-recall curves, which provide an alternative perspective on the proposed notion of robustness, and give recommendations on how to combine their usage with performance metrics.

arXiv:2610.40056v1stat.ML

Reinforcement Learning Under Runtime Confounding: Policy Learning and Off-Policy Evaluation

Reinforcement learning (RL) is increasingly used to train robust, adaptable systems across healthcare, e-commerce, and robotics. In these settings, legal, ethical, or logistical concerns may preclude certain key variables that drive decisions from being collected during deployment time. This gives rise to a setting known as runtime confounding: the logged data hold full observability, but deployment time lacks knowledge of certain variables, known as runtime confounders. Unlike single timepoint and non-adaptive settings, runtime confounding under reinforcement learning has the potential to propagate over time, as earlier decisions affect future states, observations, and action assignments, leading to biased learning. We address these problems with three contributions: we (1) develop policy learning algorithms under runtime-confounding, (2) develop semi-parametric efficient off-policy estimation procedures, and (3) provide diagnostics for understanding the price of runtime confounding.

arXiv:2610.40252v1stat.ME

Conformal Annotation with Randomized Expert Review: Application to Online Cell-Type Labeling

Artificial intelligence (AI) models can accelerate cell-type annotation in digital pathology, but safely scaling their use requires determining, with error control, which model-generated labels can be accepted without expert review. This is challenging in evolving workflows because cell morphology and type composition may change across tissue regions and slides, making one-time calibration unreliable. We propose Conformal Annotation with Randomized Expert review under Distribution shift (CARED), a distribution-free framework that leverages randomized expert audit to achieve long-run error control for AI-assisted annotation under distribution shift. For each incoming batch, CARED uniformly selects a subset of cases for expert review and uses the acquired labels to calibrate later decisions. Among unreviewed cases, CARED determines a subset of them to safely skip expert labeling, while suggesting candidate labels for the others for downstream resolution. We prove that this workflow provides long-run control of cumulative error over both the full stream and the cells outside of the audit sample, without stationarity or exchangeability assumptions. We further enhance the framework by introducing class-conditional guarantees to ensure error control within important but rare cell types, together with a utility module to target more automatic resolutions, smaller candidate sets, and greater biological coherence, without compromising validity. Experiments on pancreas, lung, and ovary annotation streams, together with a stream constructed from real expert annotations, show that CARED controls the cumulative errors while a substantial fraction of cells (up to 70%) bypass expert review.

arXiv:2610.40331v1math.ST

Optimal Neural Estimation for High-Dimensional Nonparametric Regression under Multisource Covariate Shift

We study high-dimensional nonparametric regression under multisource covariate shift, where $\mathrm J$ sources of training data share a common regression function but differ in their covariate distributions, sample sizes, and noise variances. Our goal is to combine these sources to estimate the regression function accurately under a target covariate distribution. We propose an oracle weighted neural estimator and establish its minimax optimality up to logarithmic factors through matching upper and lower bounds. The resulting rate is $\mathsf n_{\rm eff}^{-2p/(2p+K)}$, where $p$ and $K$ denote the effective smoothness and dimension of the regression function, and the effective sample size is \begin{align} \mathsf n_{\rm eff} =\sum_{j=1}^{\mathrm J} \frac{n_j}{(1+σ_{ρ,j})σ_{ε,j}^{2}}. \nonumber \end{align} Here, $n_j$ is the sample size of source $j$, $σ_{ε,j}^{2}$ is its noise variance, and $σ_{ρ,j}$ controls the deviation between the covariate distribution of source $j$ and the target covariate distribution. We also develop an adaptive procedure that requires no knowledge of source noise variances or covariate-shift parameters. Under suitable conditions, this procedure attains the oracle minimax rate up to logarithmic factors.

arXiv:2610.39065v1stat.ME

Tabular foundation models are not a shortcut to calibrated clinical risk prediction: a pre-registered simulation against the true risk

Tabular foundation models are pretrained networks that predict risk from a table without fitting a model. Whether their risks are correct (calibrated) has been judged on real data, where true risk is unknown. In a pre-registered simulation with known true risks, we compared TabPFN-3.5, TabICLv2 and Mitra-v2 with Firth logistic regression with intercept correction (FLIC) in 58 scenarios and 1,000 random designs, then on four clinical data sets. Foundation models were not a shortcut to calibration. Their calibration slope matched FLIC's within the pre-registered margin in 36 or 37 of 48 core scenarios and was better only at n = 200 with a 3% event rate. Even 3,000 patients were often not enough: with FLIC, TabPFN-3.5 or Mitra-v2, 63%-83% of samples gave risks close to the truth in average, intercept and slope at event rates of 10% and 30%, and 35%-50% at 3%. TabICLv2 did worse (8%-39% and 1%-3%). Across the random designs, foundation models had a lower true calibration error than FLIC beyond the margin in 25%-38% and a higher one in none, though small losses were predicted at n = 3000. On real data, no model resisted a change in event rate between populations; recalibration on 500 local patients largely repaired it.

arXiv:2610.38753v1stat.CO

Metropolized backward sampling for conditional sequential Monte Carlo

Particle Gibbs samplers with backward sampling are widely used for sampling the smoothing distribution of state-space models, but, with few particles, the new trajectory often coincides with the current one at many time steps. A known but rarely used remedy replaces the random selection of the final particle by a Metropolis--Hastings move which avoids the current particle. We show that, with backward sampling, this remedy only helps at the last time steps, because its effect on the update rates decays geometrically with the distance to the final time. We propose instead Metropolized backward sampling, which makes such a move at every step of the backward pass, forcibly switching trajectories whenever possible. Additionally, we introduce a coupled version which prevents proposing the current trajectory, maximizing the chances of an actual switch versus the current trajectory and performing perfect sampling when the state-space model has no observations, a feature not shared by backward sampling. We prove that, at every time step, both methods dominate backward sampling as they update the state more often and have smaller lag-one autocorrelations than it does. Our methods are drop-in replacements for backward sampling, and can be used to improve any particle Gibbs sampler.

arXiv:2610.38729v1stat.ME

Integrating multi-source local information for global undirected graph reconstruction via integer programming

Graphical models are widely used to represent conditional independence structures, but learning them is challenging when data are fragmented across sources that measure different subsets of variables and may not be directly shareable. We develop a general framework for reconstructing a shared global graph from heterogeneous, partially observed sources. Our framework permits both the observed variable sets and source-specific distributions to differ. Under a source-wise faithfulness condition, local conditional independence graphs correspond to latent projections of the shared global graph, which is identifiable up to the equivalence class induced by the observed variable sets. The framework integrates raw data, estimated source graphs, or a combination of both, accommodating settings with restricted access to individual-level data, such as privacy constraints. We develop mixed-integer optimization formulations and scalable approximate algorithms for several classes of graphical models. Unlike standard high-dimensional analyses, our guarantees are governed by new combinatorial notions of signal strength that capture how information propagates across partially observed sources. Extensive simulations further show that integration can substantially improve estimation of source-specific projected graphs relative to separate source methods. Real-data application illustrates the framework's use with partially-observed sources of fatty acid measurements.

arXiv:2610.37353v1stat.ME

Cost-based variable selection for prediction models

Objective: Variable selection for clinical prediction models is commonly done on statistical grounds related to model fit. Statistical approaches ignore the cost of misclassifications and the harm of measuring a variable. We aim to develop a decision-analytic variable selection algorithm based on net benefit. Materials and Methods: The proposed algorithm selects the set of predictors by exhaustively comparing the net benefit of all combinations using cross validation, with an extension based on backward elimination for settings with many predictors. Variables are selected if the increased net benefit from better predictiveness exceeds the net benefit reduction from the harm of variable measurement. Harm includes financial expense, time, resource allocation, and patient burden. We illustrate the algorithm through a simulated example and three real case studies. We compare its performance to traditional backward elimination and LASSO. Results: Across the case studies, parsimonious models were generated that optimized clinical utility with minimal impact on discrimination and calibration. Penalizing predictors based on their cost ensured that expensive or burdensome variables were only selected if they offer sufficient clinical utility. The algorithm was implemented in the R package NBvarsel. Discussion: Decision-analytic variable selection allows prediction models to maximize patient benefit while minimizing unnecessary clinical burden and costs. Conclusion: Clinical utility should not be an afterthought reserved only for implementation. By integrating a harm-adjusted net benefit metric directly into the variable selection process, NBvarsel allows researchers to select only the variables that sufficiently improve clinical utility.

arXiv:2610.18504v1stat.ML

How Low Can You Go: Fine-Tuning LLMs with Bayesian Optimization (LlMBO)

Recently, Morris et al. introduced TinyLoRA, a strategy for LLM fine-tuning which introduces arbitrarily few parameters, and demonstrated accuracy improvements using less than $10$ parameters rather than the ${\gtrsim 10,000}$ typically demanded by LoRA-based methods. However, that study continued to use gradient-based local search methods of the kind deployed for training multi-billion parameter LLMs in the first place. This article is predicated on the observation that, in the low dimensional setting, global optimization methods become tractable, unlocking Large language Model Bayesian Optimization (LlMBO). LlMBO is sample-efficient, gradient-free, memory-light, parallelizes across devices without synchronization, and, unlike policy-gradient methods, can optimize greedy-decoding accuracy directly. We describe numerical experiments comparing LlMBO against GRPO on fine-tuning tasks for a variety of models on a math benchmark suite which show that LlMBO can be a suitable alternative in this regime, matching or exceeding GRPO's fine tuning gains, while using a fraction of the compute and memory.

arXiv:2610.17655v1stat.ML

textGrain watermarking is harder to detect: can sum-tests still do it optimally?

Watermarking embeds an imperceptible signal in text from large language models that is statistically detectable with a secret key. The recent textGrain watermark (Li et. al. (2026b)) calibrates this signal against the model's sampling entropy through an explicit entropy budget, combining the stochasticity of Red-Green and the unbiasedness of Gumbel-max watermarks, and its accompanying report proposes a detector that sums pivotal statistics. We study when, and how efficiently, textGrain can be detected after human edits, modeled as a sparse mixture in which a fraction $\varepsilon_n\asymp n^{-p}$ of positions retain the watermark and token uncertainty decays as $n^{-q}$. First, entropy calibration comes at a cost: the minimax detection boundary of textGrain is $p+q=1/2$, so its detectable region is strictly smaller than that of Gumbel-max and maximal-coupling watermarks, whose boundary is $2p+q=1$. This cost stems from textGrain's construction rather than from entropy calibration itself: an unbiased scheme with the same entropy loss remains detectable where textGrain is not. Second, perhaps surprisingly, this loss makes the sum detector optimal at the boundary when the number of transport columns is fixed, unlike for Gumbel-max. When the number of columns grows and the entropy budget does not vanish, the detectable region expands while that of the sum detector does not. Third, for a fixed edit fraction, we characterize the optimal exponential rate of type II error decay and show that the sum detector falls strictly short of it at every fixed alternative. Finally, we propose a weighted multiscale binomial scan, valid in finite samples and needing no knowledge of the next-token distributions, entropy budget, or edit fraction; it attains every detection boundary above and the optimal exponent.

arXiv:2610.16464v1stat.ML

Online Individualized Treatment Selection under Partial Feedback: False Discovery Control and Minimax Optimality

We study online individualized treatment selection when only the outcome under the assigned treatment is observed. Our objective is to preferentially treat individuals whose potential outcomes under treatment exceed a covariate-specific control reference, while limiting false discoveries among treated individuals. We propose Partial-Feedback Adaptive Individualized Treatment Selection (PAITS), which initializes learning from historical data and combines sequential estimation of local null risks, randomized exploration, and feedback-driven updates of the treatment selection threshold. Under regularity conditions, we establish asymptotic false discovery rate control and sublinear gap-weighted assignment regret relative to a population oracle. We further establish a minimax lower bound on assignment regret under prescribed uniform nuisance-estimation requirements and give conditions under which PAITS attains the corresponding constrained minimax rate up to logarithmic factors. These results quantify the tradeoff between accurate treatment assignment and nuisance learning under partial feedback. Simulation studies and a real-data analysis using the Jester recommendation dataset illustrate the finite-sample performance of PAITS.

arXiv:2610.16142v1stat.ML

렐루(ReLU) 신경망을 이용한 임의의 반응 변수에 대한 분포 회귀

Distributional Regression for Arbitrary Response Variables Using ReLU Neural Networks

본 논문은 임의의 반응 변수에 대한 분포 회귀를 위한 통합 프레임워크를 제시한다. 스칼라 임계값이나 유클리드 구조에 의존하는 대신, 우리는 가측 집합(measurable set)으로 인덱싱된 조건부 사건 확률을 모델링함으로써, 분포 회귀를 일반적인 반응 공간으로 확장하면서도 고전적인 사건 기반 형식화와의 직접적인 연결을 유지한다. 이 프레임워크 내에서 우리는 두 가지 상호보완적인 추정량을 연구한다: 사건 지표(event indicator)에 대한 개별 회귀에 기반한 예비 추정량과, 유한 집합족(finite set family) 위의 방향성 비순환 그래프(DAG)를 통해 포함관계에 일관된 예측을 강제하는 제약 추정량이다. 우리는 두 추정량 모두에 대한 일반적인 오차 경계를 수립하며, 이를 조밀한(dense) 렐루 신경망에 특화하여 차원의 저주를 극복하는 명시적인 수렴 속도를 도출한다. 시뮬레이션 연구와 실제 데이터 실험은 제안된 프레임워크의 실용적 효과를 추가로 보여준다.

arXiv:2610.13855v1stat.ME

SLICE: 컨포멀 E-값 기반 순차적 무가능도 추론

SLICE: Sequential Likelihood-Free Inference via Conformal E-Values

많은 과학적 모델은 시뮬레이션은 가능하지만 가능도(likelihood) 계산이 다루기 힘들어 빈도주의적 불확실성 정량화가 어렵습니다. 본 논문에서는 이러한 모델의 매개변수(parameter)에 대해 정확하고 언제든 유효한(anytime-valid) 신뢰 시퀀스를 구축합니다. 매 관측마다 각 후보 귀무가설의 새로운 시뮬레이션을 통해 양의 예측 가능한 점수를 조건부 e-값(conditional e-value)으로 컨포멀화하며, 이들의 곱은 검정 마틴게일(test martingale)을 형성하고 이를 매개변수에 대해 반전시킵니다. 이러한 유효성은 해당 점수의 정확도와 관계없이 모든 점수에 대해 성립합니다. 또한 오라클 우도비 점수가 기대 로그 성장을 극대화함을 보이며, 이를 바탕으로 분할 상환 신경망 비율 추정기(amortized neural ratio estimator)로 이를 근사하도록 유도합니다. 합성 벤치마크, LLM API의 모델 라우팅 감사, 미세중력렌즈 데이터에서 도출된 신뢰 시퀀스는 고정 표본 방법과 달리 지속적인 모니터링 하에서도 유효성을 유지하며, 신경망 점수는 정확한 우도비 및 응용 분야별 특화 점수와 비교해서도 경쟁력 있는 성능을 유지합니다.

arXiv:2610.13656v1stat.ML

비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론

Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields

잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.

arXiv:2610.13625v1stat.ME

실험 연구의 커널 기반 외적 타당도

Kernel-based External Validity of Experimental Studies

연구의 외적 타당도(external validity)는 해당 연구의 결과가 데이터셋과 같은 미확인 실험 조건으로 얼마나 잘 일반화되는지를 나타내는 척도입니다. 본 논문에서는 연구 질문과 함께 연구 결과를 공식화하고, 외적 타당도를 독립적이고 동일한 규모를 가진 두 건의 반복 연구 결과 간 최대 평균 불일치(MMD)가 주어진 허용 오차 이하일 확률로 정의합니다. 결과 공간과 MMD를 위한 적절한 재생 커널(reproducing kernel) 선택을 중심으로 하는 이 접근 방식은 여러 다양한 유형의 연구 결과와 연구 질문에 적용할 수 있을 만큼 유연합니다. 또한, 연구 규모와 MMD의 분위수(quantile) 사이의 점근적 거듭제곱 법칙(power-law) 관계를 규명하여, 소규모 예비 연구로부터 외적으로 타당한 연구에 필요한 목표 규모를 추정하는 데 활용합니다. 우리는 이 프레임워크를 동점을 포함하는 순위 데이터에 적용하고 다양한 연구 질문에 적합한 커널을 논의합니다. 기존 사례 연구와 시뮬레이션된 신규 설계 연구에 대한 실험을 통해 프레임워크의 적용 가능성을 입증합니다. 관련 코드는 genexpy Python 모듈의 일부로 공개합니다.

arXiv:2610.12379v1cs.LG

Marformer: 누락 데이터 분포 예측을 위한 트랜스포머

Marformer: A Transformer for Predicting Missing Data Distributions

실제 의사결정은 불완전한 정보 하에서 이루어진다. 필요한 확률 변수 중 일부만 관측할 수 있다면, 우리는 나머지 변수를 예측할 수 있다. 누락된 변수에 대한 조건부 마지널(conditional marginals)은 베이즈 위험(Bayes risk)과 정보 가치(Value of Information, VOI)—의사결정 전에 하나의 관측값을 추가로 얻음으로써 얻는 기대 이득—를 계산하는 데 핵심 요소이다. 우리는 임의의 관측값 집합이 주어졌을 때 조건부 마지널을 직접 예측하도록 학습된 트랜스포머(Transformer)인 Marformer를 제시한다. 문맥으로부터 누락된 단어를 예측하도록 학습되는 BERT와 마찬가지로, Marformer는 각 분포 p(X_i)에 대한 은닉 벡터 표현을 구성하고, 다른 분포 p(X_j)에 대한 어텐션(attention)을 통해 이를 반복적으로 정제한다. 생성적 접근법과 달리, Marformer는 전체 결합 분포(joint distribution)를 모델링하지 않으며, 데이터 생성 과정에 대한 도메인 지식을 요구하지 않고, 단 한 번의 순전파(forward pass)로 모든 예측을 수행한다. 우리는 베이지안 네트워크(Bayesian network), 이산화된 다변량 가우시안(discretized multivariate Gaussian), 구조화된 어노테이션 데이터라는 누락 데이터를 포함한 세 가지 합성 도메인에서 평가를 수행한다. Marformer는 합성 데이터를 생성한 실제 모델(model) 계열과 사전 분포(prior)가 주어진 경우에도, 고전적인 누락 데이터 처리 방법과 동등하거나 더 나은 성능을 보일 수 있다. 또한 실제 어노테이션 데이터셋(dataset)에서도 평가를 수행했으며, 이 경우 Marformer는 가장 큰 학습(training) 데이터 크기에서 평가된 베이스라인들을 능가한다. 두 경우 모두에서 Marformer는 평가된 생성적 베이스라인들보다 상당히 더 빠르다.

arXiv:2610.12332v1stat.ML

처치 효과 추정을 위한 예측 기반 데이터 융합

Prediction-Powered Data Fusion for Treatment Effect Estimation

무작위 대조군 연구(RCT)는 교란(confounding) 없이 처치 효과를 식별하지만 대개 규모가 작으며, 관찰 연구(OBS)는 규모가 크지만 교란이 존재할 수 있습니다. 작은 크기의 RCT와 대규모 OBS를 결합하여 평균 처치 효과(ATE) 및 조건부 평균 처치 효과(CATE)를 추정하는 여러 추정량이 개발되었습니다. 그러나 기존의 ATE 추정량은 OBS에 대한 가정을 요구하거나 OBS로부터 충분한 검정력(power)을 가져오지 못합니다. CATE는 ATE에 비해 덜 연구되었습니다. 기존 CATE 방법들은 OBS에 교란이 없다고 가정하거나, 교란 함수 모델에 의존하거나, 더 낮은 분산을 대가로 바이어스를 용인합니다. 이에 따라 본 논문에서는 OBS에 대한 특별한 가정 없이, RCT 기반 추정의 비편향성(unbiasedness)을 보존하면서 대규모 OBS로부터 정보를 차용하여 정밀도를 높여 두 데이터를 융합하는 프레임워크를 제안합니다. 이 원리를 적용하여 닫힌 형식(closed-form)의 가중치와 신뢰 구간을 제공하는 ATE 추정량인 AIPW-Fusion과 두 가지 CATE 학습 알고리즘인 DR-Fusion 및 R-Fusion을 구축합니다. 실험을 통해 본 연구의 발견점을 검증합니다.

arXiv:2610.11459v1stat.ML

손쉬운 가우시안 프로세스 플로우를 위한 특징 공간 적응

Feature Space Adaptation for Effortless Gaussian Process Flows

선형-가우시안(linear-Gaussian) 체제를 벗어나면, 가우시안 프로세스(Gaussian process, GP)로부터의 조건부 샘플링(conditional sampling)은 어렵다. FlowGP(Moss et al., 2026)와 같은 최근 방법들은 임의의 비선형적이고 비가우시안적인 조건화 명제(conditioning statement)에 대해 조건화할 수 있지만, 상당한 비용이 든다: 수동으로 지정한 커널 하이퍼파라미터를 필요로 하는, 비용이 많이 드는 반복적이고 고차원적인 디퓨전(diffusion) 과정이 요구된다. 본 논문에서는 (1) 고해상도 영역으로의 확장을 가능하게 하는 커널 근사를 도입하고, (2) 디퓨전을 조건화 명제 쪽으로 유도하는 데 필요한 작업량을 측정하여 마진 가능도를 구하는 방법을 제안함으로써 FlowGP의 두 가지 중요한 단점을 완화한다. 우리는 FlowGP 내에서 최초로 하이퍼파라미터 최적화를 가능하게 하며, 면적 요약 통계량으로부터의 확률적 다운스케일링(probabilistic downscaling), 불규칙한 영역에서의 PDE 해 추론, 그리고 비가우시안 위성 관측으로부터 해수면 이상(sea level anomaly) 필드를 복원하는 문제에 대해 우리의 접근법을 시연한다.

arXiv:2610.11399v1cs.AI

포텐셜을 활용한 자기회귀 언어 모델에서의 기대값 추정

Estimating great expectations under autoregressive language models with potentials

언어 모델의 많은 응용 분야는 개별 샘플이 아니라 모델 하에서의 테스트 범함수(test functional)의 기대값에 크게 좌우됩니다. 이러한 기대값을 신뢰성 있게 추정하는 것은 계산 비용이 많이 들 수 있습니다. 본 논문에서는 샘플링 과정의 부산물로 얻어지는 다음 토큰(next-token) 조건부 확률을 활용하여 추정을 보다 효율적으로 수행하는 방법을 제시합니다. 우리는 테스트 범함수를 가법적으로 분해하는 접두사(prefix) 상의 실수값 함수인 포텐셜(potential)을 통해 이를 달성합니다. 선택된 포텐셜에 분산이 좌우되는 추정량(estimator)을 구성하고, 포텐셜이 이러한 분산을 줄여주는 조건을 도출합니다. 그런 다음 여러 추정 대상(estimand) 및 응용 분야에 대한 실용적인 포텐셜을 개발하고, 비슷한 수준의 계산 비용으로 여러 추정 대상에 걸쳐 상당한 분산 감소를 달성함을 입증합니다.

arXiv:2610.11349v1cs.LG

샘플 효율적인 생성적 등각 예측

Sample-Efficient Generative Conformal Prediction

생성적 등각 예측(generative conformal prediction)은 조건부 생성기의 샘플을 바탕으로 불확실성 집합(uncertainty set)을 구축하는데, 이는 샘플이 반응 분포를 잘 표현할 때만 효율적입니다. 대규모 확산 모델(diffusion model)이나 과학 시뮬레이터와 같이 각 샘플 생성 비용이 많이 들 수 있는 환경에서는 많은 샘플이 요구될 수 있으므로, 샘플링 예산을 효율적으로 사용해야 합니다. 기존 방법들은 모든 입력에 대해 동일한 수의 샘플을 추출하여, 반응 분포가 단순한 곳에서는 샘플을 낭비하고 복잡한 곳에서는 과소 샘플링하여 집합 크기가 커지고 해당 입력들의 커버리지(coverage)가 부족해지는 문제가 발생합니다. 본 논문에서는 추가 샘플의 한계 가치(marginal value)를 특성화하고, 한계 커버리지(marginal coverage) 및 평균 샘플링 예산 조건을 만족하면서 기대 집합 크기를 최소화하도록 입력 전반에 걸쳐 샘플을 할당하는 CASA(Conformal Adaptive Sample Allocation)를 제안합니다. 이론적 분석에 따르면, 적응형 할당은 동일한 예산 하에서 고정된 샘플 수를 사용하는 것보다 더 작은 집합을 산출함을 보여줍니다. 놓친 모드(mode)는 모드 간의 간격을 가로지르는 반경을 강제하며, 오라클 반경(oracle radius)조차도 이를 보상할 수 없기 때문입니다. 합성 및 실제 태스크에서 CASA는 동일한 예산으로도 실질적으로 훨씬 작은 집합을 생성하고, 조건부 커버리지를 자주 개선하며, 기존의 반경 적응형 방법들을 효과적으로 보완합니다.