arXiv:2605.07808v2 cs.LG

섭동된 2차 캘리브레이션의 미니맥스 수렴 속도

The Minimax Rate of Perturbed Second-Order Calibration

Kamil Ciosek, Banafsheh Rafiee, Sina Ghiassian, Nicolò Felicioni

제출 2026-05-08

한국어 초록

2차 캘리브레이션 오차(second-order calibration error)는 고차 예측기(higher-order predictor)의 인식론적 불확실성(epistemic uncertainty) 추정치가 등위 집합(level set) 상에서 레이블 확률의 조건부 분산과 얼마나 잘 일치하는지를 정량화합니다. 본 논문에서는 분류기(classifier) 출력에 작은 섭동(perturbation)이 적용되는 체제에서 이진 분류(binary classification)를 위한 2차 캘리브레이션 오차 추정의 미니맥스 속도(minimax rate)를 규명합니다. 제안하는 절차는 간단합니다. 점수 좌표에 대역폭 $h$를 갖는 독립적인 sech 노이즈를 추가한 다음, 저차 다항식을 사용하여 섭동된 점수에 대해 $Y^{(1)}$ 및 $Y^{(1)}Y^{(2)}$를 회귀합니다. 결정적으로, sech 섭동은 캘리브레이션 함수를 적절한 띠(strip) 영역 내에서 해석적(analytic)이 되도록 만듭니다. 그 결과 도출된 추정량은 명시적 상수를 포함하여 $O_h(\log^{3/2}n/\sqrt n)$의 오차를 가집니다. 동일한 설정에서 매칭되는 $\Omega(1/\sqrt{n})$ 하한은 로그 인수를 제외하고 미니맥스 최적성을 입증합니다. 따름정리로서 섭동된 2차 플랫 스케일링(Platt scaling)에 대한 유한 표본 보장을 제공하며, 이는 섭동된 고차 예측기의 평균 예측과 인식론적 분산 추정치를 모두 재보정(recalibrate)하는 사후(post-hoc) 절차를 산출합니다. 이 과정에서 2차 캘리브레이션 오차의 명시적인 2차 적률(two-moment) 정식화를 제시하고 이를 Ahdritz 등[2025]의 버킷화된 정식화와 정량적으로 연결합니다. 실험을 통해 예측된 수렴 속도와 재보정된 불확실성의 품질을 확인합니다.

원문 초록

Second-order calibration error quantifies how closely a higher-order predictor's epistemic-uncertainty estimate matches the conditional variance of the label probability on its level sets. We characterize the minimax rate of estimating the second-order calibration error for binary classification in the regime where a small perturbation is applied to the classifier outputs. Our procedure is simple: add independent bandwidth-$h$ sech noise to the score coordinates, then regress $Y^{(1)}$ and $Y^{(1)}Y^{(2)}$ on the perturbed score using low-degree polynomials. Crucially, the sech perturbation makes the calibration functions analytic in a suitable strip. The resulting estimator has error $O_h(\log^{3/2}n/\sqrt n)$, with explicit constants. In the same setting, a matching $Ω(1/\sqrt{n})$ lower bound establishes minimax optimality up to logarithmic factors. As a corollary, we give a finite-sample guarantee for perturbed second-order Platt scaling, yielding a post-hoc procedure that recalibrates both the mean prediction and the epistemic-variance estimate of the perturbed higher-order predictor. Along the way, we give an explicit two-moment formulation of second-order calibration error and relate it quantitatively to the bucketed formulation of Ahdritz et al. [2025]. Our experiments confirm the predicted rate and the quality of the recalibrated uncertainties.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.07808v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13387v1eess.IV공통 태그 Uncertainty Quantification, Binary Classification

라벨 조건부 등각 예측을 활용한 라디오믹스 기반 갑상선 결절 분류

Radiomics-Based Thyroid Nodule Classification with Label-Conditional Conformal Prediction

갑상선 결절의 악성도 평가는 초음파 영상에 의존하지만, 기존의 위험 계층화 시스템은 관찰자 간 상당한 변동성으로 인해 불필요한 생검 비율이 높아지는 문제를 겪고 있습니다. 본 논문에서는 PyRadiomics를 통한 정량적 특징 추출과 일반화 가산 모델(GAM) 분류기를 결합한 라디오믹스(radiomics) 기반 프레임워크를 제안합니다. 이 분류기는 판별 성능과 해석 가능성 간의 우수한 절충점을 보여 6개의 후보 중 선정되었습니다. 점 예측을 불확실성 추정으로 보완하기 위해 라벨 조건부 보장을 갖춘 교차 등각 예측(Cross-Conformal Prediction)을 적용하여, 이진 결정을 강제하기보다는 모호한 사례를 임상 검토 대상으로 플래깅(flagging)합니다. 실험은 갑상선 결절의 공개 초음파 데이터셋인 TN5000에서 수행되었습니다. 스피어만 상관관계 필터링 후 36개의 특징이 유지되었으며, GAM은 검증 세트에서 $0.89$의 AUC, $0.83$의 민감도, $0.82$의 특이도를 달성했습니다. 두 클래스 모두에 대한 실증적 커버리지 보장을 보장하도록 선택된 유의수준 $ε=0.09$에서, 테스트 세트 결절의 63\%가 확실한(즉, 단일 라벨) 예측을 받았으며, 확실한 악성에 대해서는 $0.94$의 조건부 정밀도와 확실한 양성 사례에 대해서는 $0.73$의 조건부 음성 예측도(NPV)를 기록한 반면, 나머지 37\%는 임상의에게 의뢰되었습니다.

arXiv:2610.13654v1cs.LG공통 태그 Uncertainty Quantification, calibration

TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기

TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.

arXiv:2610.10829v1stat.ML공통 태그 Uncertainty Quantification, calibration

부분 검증 조건에서의 등각 예측

Conformal Prediction under Partial Verification

등각 예측(Conformal prediction)은 유한 표본 보장을 제공하는 예측 집합을 산출하지만, 캘리브레이션에 필요한 라벨 검증 비용은 매우 클 수 있습니다. 본 연구에서는 완전 검증과 정확히 동일한 예측 집합을 반환하는 부분 검증 기법을 개발합니다. 등각 임계값을 결정하기에 충분한 검증 정보인 캘리브레이션 인증서(calibration certificate)의 특성을 규명하고, 여러 캘리브레이션 예시 간의 검증을 조율하는 절차를 설계합니다. 높은 커버리지에서의 유한한 임계값에 대해, 후보군을 순서대로 확인할 때 본 방법의 검증 비용은 최소 인증서 비용의 2배 미만입니다. 검색, 수학 문제 풀이, 구성 평가 전반에서 이 방식은 동일한 예측 집합을 생성하면서도 캘리브레이션 예시를 하나씩 검증하는 방식 대비 검증 비용을 15~82% 절감합니다.

arXiv:2609.34024v2cs.AI공통 태그 Uncertainty Quantification, calibration

의학 분야에서의 Jev: 벤치마크 평가

Jev in Medicine: A Benchmark Evaluation

Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.

arXiv:2610.01006v1cs.AI공통 태그 Uncertainty Quantification, calibration

답변 신뢰도를 넘어서: 블랙박스 의사결정 모델의 자기 지식에 대한 통제된 감사

Beyond Answer Confidence: A Controlled Audit of Self-Knowledge in a Black-Box Decision Model

의사결정 모델(decision model)은 라우팅, 기권, 자동화된 조치를 목적으로 확률을 반환합니다. 캘리브레이션(calibration)은 이러한 확률을 평균적으로 유용하게 만들지만, 낮은 신뢰도가 단순 우연을 반영하는지 혹은 결측된 지식을 반영하는지, 그리고 모델이 자신이 아는 범위를 벗어날 때 신뢰도가 떨어지는지는 규명하지 못합니다. 본 연구에서는 고정된 항목에 제공되는 정보를 변화시키는 쌍체 개입을 활용하여, 15개 이상의 공개 데이터셋과 6개의 생성된 태스크 패밀리를 통해 의사결정 모델인 Jev에서 이러한 차이를 감사(audit)합니다. Jev의 신뢰도는 익숙한 폐쇄형 선택 태스크에서는 잘 보정(calibrated)되지만, 결측된 지식을 나타내는 지표로서는 실패합니다. 답변 관련 정보가 전혀 없는 경우에도 두드러진 선택지에 최대 0.80을 할당하며, 관찰된 지식 경계를 벗어난 뉴스에서는 정확도보다 0.21~0.33 높은 값을 보여 이전 달의 데이터로 재보정해도 이 격차는 좁혀지지 않습니다. 타깃팅된 예/아니오 질문은 해당 사례에 대해 더 명확한 판독 결과를 제공합니다. 결과가 확정되었는지 여부(AUROC 1.00) 및 증거가 충분한지 여부(동일 항목의 신뢰도 0.85 대비 0.95)를 더 잘 포착합니다. Jev에게 답을 알고 있는지 묻는 방식은 조작된 개체와 지식 경계 이후의 뉴스를 식별(0.91)하는 것처럼 보이지만, 현실적인 이름이 주어지거나 날짜가 제거되면 답변 불확실성 대비 아무런 이점을 보이지 않습니다. 따라서 블랙박스 지식 감사에는 표면적 단서에 대한 명시적인 통제가 필요합니다. 코드: https://github.com/Syntheme/beyond-answer-confidence.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.