한국어 초록
등각 예측(Conformal prediction)은 유한 표본 보장을 제공하는 예측 집합을 산출하지만, 캘리브레이션에 필요한 라벨 검증 비용은 매우 클 수 있습니다. 본 연구에서는 완전 검증과 정확히 동일한 예측 집합을 반환하는 부분 검증 기법을 개발합니다. 등각 임계값을 결정하기에 충분한 검증 정보인 캘리브레이션 인증서(calibration certificate)의 특성을 규명하고, 여러 캘리브레이션 예시 간의 검증을 조율하는 절차를 설계합니다. 높은 커버리지에서의 유한한 임계값에 대해, 후보군을 순서대로 확인할 때 본 방법의 검증 비용은 최소 인증서 비용의 2배 미만입니다. 검색, 수학 문제 풀이, 구성 평가 전반에서 이 방식은 동일한 예측 집합을 생성하면서도 캘리브레이션 예시를 하나씩 검증하는 방식 대비 검증 비용을 15~82% 절감합니다.
원문 초록
Conformal prediction provides prediction sets with finite-sample guarantees, but the label verification required for calibration can be expensive. We develop a partial verification method that returns exactly the same prediction sets as complete verification. We characterize calibration certificates, the verified information sufficient to determine the conformal threshold, and design a procedure that coordinates verification across calibration examples. For finite thresholds at high coverage, its verification cost is less than twice the minimum certificate cost when candidates are checked in order. Across retrieval, mathematical solutions, and configuration evaluation, it reduces verification cost by 15-82% compared with verifying calibration examples one at a time, while producing identical prediction sets.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기
TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
Optimal distribution-free sequential change detection with conformal martingales
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
라벨 조건부 등각 예측을 활용한 라디오믹스 기반 갑상선 결절 분류
Radiomics-Based Thyroid Nodule Classification with Label-Conditional Conformal Prediction
갑상선 결절의 악성도 평가는 초음파 영상에 의존하지만, 기존의 위험 계층화 시스템은 관찰자 간 상당한 변동성으로 인해 불필요한 생검 비율이 높아지는 문제를 겪고 있습니다. 본 논문에서는 PyRadiomics를 통한 정량적 특징 추출과 일반화 가산 모델(GAM) 분류기를 결합한 라디오믹스(radiomics) 기반 프레임워크를 제안합니다. 이 분류기는 판별 성능과 해석 가능성 간의 우수한 절충점을 보여 6개의 후보 중 선정되었습니다. 점 예측을 불확실성 추정으로 보완하기 위해 라벨 조건부 보장을 갖춘 교차 등각 예측(Cross-Conformal Prediction)을 적용하여, 이진 결정을 강제하기보다는 모호한 사례를 임상 검토 대상으로 플래깅(flagging)합니다. 실험은 갑상선 결절의 공개 초음파 데이터셋인 TN5000에서 수행되었습니다. 스피어만 상관관계 필터링 후 36개의 특징이 유지되었으며, GAM은 검증 세트에서 $0.89$의 AUC, $0.83$의 민감도, $0.82$의 특이도를 달성했습니다. 두 클래스 모두에 대한 실증적 커버리지 보장을 보장하도록 선택된 유의수준 $ε=0.09$에서, 테스트 세트 결절의 63\%가 확실한(즉, 단일 라벨) 예측을 받았으며, 확실한 악성에 대해서는 $0.94$의 조건부 정밀도와 확실한 양성 사례에 대해서는 $0.73$의 조건부 음성 예측도(NPV)를 기록한 반면, 나머지 37\%는 임상의에게 의뢰되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.