단 한 번의 과정으로 수행하는 캘리브레이션: 정확하고 잘 보정된 신경망의 결합 학습
Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks
한국어 초록
신경망(NN)은 매우 유연하고 다재다능하지만 신뢰도 보정(calibration)이 제대로 이루어지지 않는 경우가 많습니다. 사후 캘리브레이션(post-hoc calibration) 방식은 별도의 캘리브레이션 데이터셋과 추가 파라미터를 사용하여 이미 학습된 모델의 출력을 조정합니다. 그러나 이러한 과정은 캘리브레이터의 독립적인 최적화와 후속 모델 선택을 필요로 하여 오버헤드를 가중시킵니다. 본 논문에서는 표준 사후 캘리브레이터를 이단계 슈타켈버그(bilevel Stackelberg) 정식화를 통해 백본과 함께 엔드투엔드(end-to-end)로 학습할 수 있음을 보입니다. 이 정식화는 교차 엔트로피를 사용해 정확도와 캘리브레이션을 결합 최적화함으로써 별도의 캘리브레이션 셋이나 전용 캘리브레이션 손실 없이도 동작하며, 캘리브레이터 학습률이라는 단 하나의 추가 하이퍼파라미터만을 도입합니다. 본 프레임워크는 온도 스케일링(temperature scaling) 및 행렬 스케일링(matrix scaling)부터 신경망 층에 이르는 다양한 캘리브레이터를 지원하지만, 실험 결과 최종 분류 층 자체를 캘리브레이터로 사용하는 것만으로도 추가 파라미터 없이 정확하면서도 잘 보정된 모델을 얻을 수 있음을 보여줍니다. 제안하는 접근법은 최소한의 복잡도 추가만으로 최신 최고 수준(SOTA)의 캘리브레이터들을 능가하며, 멀티태스크 학습과 같은 설정에서 별도 캘리브레이션 컴포넌트로 인해 발생하는 곱절의 오버헤드 또한 방지합니다.
원문 초록
Neural networks (NNs), while highly flexible and versatile, are often poorly calibrated. Post-hoc calibration methods adjust the outputs of an already trained model using a separate calibration dataset and additional calibration parameters. This process adds overhead that requires separate optimization of the calibrator and subsequent model selection. In this paper, we show that standard (post-hoc) calibrators can be trained end-to-end with the backbone via a bilevel Stackelberg formulation. This formulation eliminates the need for a separate calibration set or a dedicated calibration loss by jointly optimizing accuracy and calibration using cross-entropy, introducing only one additional hyperparameter: the calibrator learning rate. Although our framework supports calibrators ranging from temperature and matrix scaling to NN layers, our results show that using the final classification layer itself as the calibrator yields accurate, well-calibrated models with no additional parameters. Our approach outperforms SOTA calibrators with minimal added complexity, while also avoiding the multiplicative overhead of separate calibration components in settings such as multi-task learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확률적 분류기에 대한 사후 교정 방법의 조건 계층화 강건성 분석
Condition-Stratified Robustness Analysis of Post-Hoc Calibration Methods for Probabilistic Classifiers
사후 교정(post-hoc calibration)은 학습된 분류기의 확률 추정값을 보정하기 위해 널리 사용되지만, 대부분의 평가는 단일 데이터셋 내의 서로 다른 운영 조건에 걸쳐 해당 성능이 유지되는지 검증하지 않고 집계 성능만을 보고한다. 우리는 네 가지 통제 조건(C1--C4)에 걸쳐 온도 스케일링(TEMP)과 등온 회귀(ISO)를 비교하는 사전 등록된 조건 계층화 강건성 분석을 제시한다. 네 가지 가설 그룹을 평가한다: Holm 교정 다중성 제어를 적용한 판별 델타(H1), 브라이어 점수 차이(H2), 교정 기울기 결과(H3), 최적 조건 설정에서의 AUROC 차이(H4). TEMP와 ISO 간 판별 델타는 모든 조건에 걸쳐 작게 유지되며(-0.0155에서 0.0139), Holm 조정 p값은 어디서나 0.9895이다. TEMP의 브라이어 점수 차이는 일관되게 음수(C1: -0.0002에서 C4: -0.0074)인 반면, ISO는 부호 반전을 보인다. TEMP의 교정 기울기는 모든 조건에서 ISO 기울기(0.1364--0.2726)보다 1에 더 가깝게 유지된다(범위 0.7597--0.9493). AUROC 차이는 C1에서 0에 가깝다가(-0.0004) C4에서 양수로 전환된다(0.0264). 이러한 결과는 데이터셋 내 강건성이 조건 의존적이며 지표별로 다름을 확인한다. 외부 이전 가능성(external transportability)에 대한 주장은 하지 않는다.
시맨틱 분할에서의 사후 캘리브레이션 재고
Rethinking Post-Hoc Calibration in Semantic Segmentation
신뢰할 수 있는 신뢰도 추정치는 시맨틱 분할(semantic segmentation)에서, 특히 과신(overconfident) 오류가 하류 의사결정을 오도할 수 있는 안전 필수 환경에서 매우 중요하다. 그러나 현대 분할 모델은 종종 잘못 캘리브레이션된 상태로 남아 있다. 사후 캘리브레이션(post-hoc calibration)은 분할 모델을 재학습하지 않고도 신뢰도 추정치를 교정할 수 있는 실용적인 방법을 제공하지만, 밀집 예측(dense prediction)에서의 사용은 종종 간과되는 구조적 문제를 야기한다. 우리는 이러한 두 가지 문제를 연구한다. 첫째, 모든 로짓(logit)에 상수를 더하더라도 소프트맥스(softmax) 확률은 변하지 않지만, 여러 표준 캘리브레이터는 이 임의적 오프셋에 여전히 의존할 수 있다. 결과적으로 동일한 예측 분포를 인코딩하는 두 로짓 표현이 서로 다른 캘리브레이션된 확률을 산출할 수 있다. 우리는 이러한 이동(shift)에 대해 출력이 불변인 캘리브레이터를 평행이동 불변(translation-invariant, TI) 캘리브레이터로 정의하고, 일반적인 캘리브레이터 중 이 성질을 만족하는 것을 특성화하며, 표현 의존성 제거 효과를 분리하기 위해 이동에 민감한 캘리브레이터의 TI 대응물을 구성한다. 둘째, 사후 캘리브레이션은 통상적으로 가능도(likelihood) 기반 목적함수를 최소화하여 적합되는 반면, 분할 모델은 Dice와 같은 태스크 특화 지표로 학습된다. 이러한 불일치는 캘리브레이션이 클래스 순서를 변경하여 배포된 분할 맵을 저하시킬 수 있다. 우리는 argmax 보존 및 순서 보존 제약 하에서의 의사결정 보존 캘리브레이션을 연구한다. 이 제약들을 강제하면 어파인 소프트맥스(affine softmax) 캘리브레이터가 온도 스케일링(temperature scaling)으로 축퇴되므로, 더 높은 표현력을 유지하면서 argmax 또는 순서 보존을 달성할 수 있는 클래스 조건부 어파인 캘리브레이터를 도입하여, 의사결정 보존으로 인해 유발되는 캘리브레이션-분할 트레이드오프를 정량화할 수 있게 한다. 자연 이미지 및 의료 분할 벤치마크와 손상 기반 공변량 이동(corruption-based covariate shift) 하에서, 매칭된 비교 실험을 통해 TI 변형이 일반적으로 캘리브레이션 지표를 개선하며, 의사결정 보존 변형은 분할 성능 저하를 방지하면서도 강력한 캘리브레이션 성능을 유지함을 보인다. 이러한 결과는 시맨틱 분할에서 잘 정의된 사후 캘리브레이션 파이프라인을 위한 실용적인 설계 원칙을 제공한다.
컨포멀 예측을 이용한 적응형 누적 질량 보정
Adaptive Cumulative Mass Calibration with Conformal Prediction
분류기에 의한 신뢰할 수 있는 확률 추정은 고위험 응용 분야에서 필수적입니다. 그러나 실제로는 예측 확률이 종종 잘못 보정되어 있으며, 기존의 많은 사후(post-hoc) 보정 방법들은 보정 절차 적용 후 특정 보정 개념이 달성된다는 보장이 일반적으로 부족합니다. 우리는 *누적 질량 보정(cumulative mass calibration)*의 개념과 해당 오류 측정값을 통해 보정에 대한 *집합 기반(set-based)* 관점을 도입합니다. 우리는 보장된 주변 커버리지(marginal coverage)를 갖는 누적 확률을 형성하는 컨포멀 예측(conformal prediction) 기반의 새로운 보정 절차를 제안합니다. 컨포멀 커버리지 제약을 만족시키기 위해 각 입력에 맞춰 온도를 조정하는 **적응형 온도 스케일링 알고리즘(adaptive temperature scaling algorithm)**을 도입합니다. 본 연구에서 보이듯이, 이 절차는 효율적으로 구현될 수 있습니다. 특히 클래스 수가 많은 설정을 포함한 이미지 분류 태스크 전반에 걸쳐, 우리의 방법은 새롭게 도입된 보정 오류 측정값(**CMCE** 및 $α$-CMCE)*과* 기존 기준선 대비 표준 지표(ECE, cw-ECE, MCE 등)를 개선합니다.
GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors
MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models
Learning Where to Learn: Training Distribution Selection for Provable OOD Performance
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
27 pages, 7 figures