arXiv:2606.29925v1 cs.LG

모델 캘리브레이션을 위한 커널 밀도 추정에서의 대역폭 선택

Bandwidth Selection in Kernel Density Estimation for Model Calibration

Han Zhou, Teodora Popordanoska, Matthew Blaschko

제출 2026-06-29

한국어 초록

심층 학습 모델이 고위험 응용 분야에 점점 더 많이 배포됨에 따라, 잘 캘리브레이션된 불확실성 추정치를 제공하는 것이 높은 예측 정확도를 달성하는 것만큼 중요해졌다. 커널 밀도 추정(KDE)이 미스캘리브레이션을 정량화하기 위한 전통적인 구간화(binning)의 매끄럽고 연속적인 대안으로 부상했지만, 그 신뢰성은 커널 대역폭의 선택에 크게 의존한다. 최대 가능도 추정(MLE)과 같은 표준 선택 기법은 캘리브레이션 작업에 최적의 대역폭을 생성하는 데 종종 실패한다. 본 연구에서는 KDE로 재구성한 위험을 경험적 위험과 정렬함으로써 최적의 대역폭을 결정하는 새로운 최적화 프레임워크인 위험 정렬(Risk Alignment, RA)을 제안한다. 이 정렬이 데이터 분포 전반에 걸쳐 캘리브레이션 추정 바이어스를 최소화함을 이론적으로 증명하며, 정준 캘리브레이션 오류(canonical calibration error)와 같은 까다로운 경우를 포함한 다양한 지표에 적용 가능한 원칙적인 대역폭 선택 기준을 확립한다. 여러 아키텍처와 데이터셋에 걸친 광범위한 실험을 통해 RA가 표준 대역폭 선택 방법을 지속적으로 능가하며 더 신뢰할 수 있는 캘리브레이션 평가를 제공함을 보인다.

원문 초록

As deep learning models are increasingly deployed in high-stakes applications, providing well-calibrated uncertainty estimates has become as critical as achieving high predictive accuracy. While Kernel Density Estimation (KDE) has emerged as a smooth and continuous alternative to traditional binning for quantifying miscalibration, its reliability is heavily dependent on the choice of the kernel bandwidth. Standard selection techniques, such as Maximum Likelihood Estimation (MLE), often fail to produce optimal bandwidths for calibration tasks. In this work, we introduce Risk Alignment (RA), a novel optimization framework that determines the optimal bandwidth by aligning KDE-reconstructed risk with empirical risk. We theoretically demonstrate that this alignment minimizes calibration estimation bias across the data distribution, establishing a principled bandwidth selection criterion applicable to various metrics, including the challenging case of canonical calibration error. Extensive experiments across multiple architectures and datasets show that RA consistently outperforms standard bandwidth selection methods, yielding more reliable calibration assessments.

요약

모델 캘리브레이션 평가에서 커널 밀도 추정(KDE)의 신뢰성이 대역폭 선택에 크게 좌우되는 문제를 해결하기 위해, KDE로 재구성한 위험(risk)을 경험적 위험과 정렬하는 새로운 최적화 프레임워크인 Risk Alignment(RA)를 제안한다. RA는 캘리브레이션 추정 편향을 이론적으로 최소화함을 증명하며, 다양한 아키텍처와 데이터셋 실험에서 MLE 등 기존 대역폭 선택 방법보다 일관되게 우수한 캘리브레이션 평가 성능을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29925v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13397v1stat.ML공통 태그 Uncertainty Quantification, Density Estimation

모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약

Model-free Bayesian Clustering and Multimodal Posterior Summarisation

본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.

arXiv:2610.13557v1cs.LG공통 태그 Uncertainty Quantification, Density Estimation

AIS 데이터를 활용한 트랜스포머 모델 기반 확률적 선박 궤적 예측

Probabilistic Ship Trajectory Forecasting using Transformer Models on AIS Data

선박 궤적 예측은 해상 항해 시 필수적인 작업입니다. 이는 인간 항해사와 무인 수상정(autonomous surface vessel) 모두에 적용됩니다. 궤적 예측을 통해 충돌 회피와 같은 서브루틴이 상황을 파악하고 제때 적절히 대응할 수 있습니다. 본 논문에서는 협수로에서 수상정의 궤적 예측을 위한 트랜스포머(Transformer) 및 퍼포머(Performer) 모델을 연구합니다. 널리 활용되는 선박 자동 식별 장치(AIS)의 위치 데이터를 사용하여 후보 모델들을 학습(training)하고 평가(evaluation)합니다. 각 에이전트(agent) 주변 국소 영역에서 다른 선박들이 어떻게 이동했는지에 대한 과거 정보는 위치 히트맵을 통해 전달됩니다. 이 히트맵은 커널 밀도 추정(KDE)을 사용하여 생성되며, 트랜스포머 모델에 입력되기 전에 합성곱 신경망(CNN)으로 인코딩됩니다. 시의적절한 충돌 회피에 결정적인 모델 인식 예측 구간(prediction interval)을 효율적으로 도출하기 위해 모델은 분위수 손실(quantile loss)로 학습됩니다. 제안된 모델 구조는 이전 연구보다 크게 뛰어난 성능을 보이는 것으로 나타났으며, 국소 히트맵을 포함함으로써 이전 위치 정보만으로는 알 수 없는 선박의 움직임을 예측할 수 있게 됩니다.

arXiv:2610.01495v1cs.AI공통 태그 Uncertainty Quantification, model calibration

어텐션 잔차 트랜스포머에서 불확실성 신호로서의 라우팅 엔트로피 감사

Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers

동적 아키텍처는 각 예측과 함께 예제별 라우팅 추적(routing trace)을 남기며, 분산된 라우팅은 예측을 신뢰하기 어렵다는 신호로 해석하기 쉽습니다. 본 연구에서는 소프트 빈 보정 보조 손실(soft-binned calibration auxiliary loss)을 적용하여 CIFAR-10/100에서 처음부터 학습(training)된 Swin-Tiny 및 DeiT-Small의 어텐션(attention) 잔차(Attention-Residual, AR) 변형 모델(model)들을 대상으로 라우팅 엔트로피에 대한 이러한 해석을 감사(audit)하며, 해당 추적이 모델 자체의 신뢰도(confidence)가 이미 드러내는 것 이상으로 정확도에 관한 정보를 전달하는지 질문합니다. 세 가지 점검을 통해 이러한 증가분을 탐색합니다. 고정된 신뢰도에서 라우팅 신호가 나타나는지, 학습 시드 전반에 걸쳐 재현되는지, 그리고 홀드아웃 예측기가 출력 전용 및 셔플된 추적 대조군에 대항하여 이를 활용할 수 있는지를 확인합니다. 이후 민감도 감사는 알려진 크기의 효과를 주입하고 탐침(probe)들이 각각의 얼마만큼의 비율을 회복하는지 측정합니다. 고정된 30개 테스트로 구성된 구간화(binned) 패밀리에서 다중성 보정(multiplicity correction)을 거쳐 살아남은 테스트는 없었으며, 명목상 적중이나 경계선상의 결과 모두 형제 시드에서 다시 발생하지 않았습니다. 24개의 쌍을 이룬 실행 전반에 걸쳐 스칼라 라우팅 탐침은 라우팅 계층화 보정에서 풀링된 개선을 가져오지 못했고, 엔트로피 프로파일 탐침은 셔플된 프로파일이 주어진 동일 탐침보다는 정확도를 더 잘 예측했으나 이진 로그 손실(binary log-loss)과 브라이어 점수(Brier score) 모두에서 신뢰도 전용 예측기보다는 성능이 떨어졌습니다. 즉, 셔플된 추적 대비 이득이 출력 대비 이득으로 이어지지는 않았습니다. 전체 로짓(logit) 벡터에 대한 조건화는 해당 비교를 미해결 상태로 남깁니다. 감사는 이러한 비검출(non-detection) 결과가 어느 수준까지 해석될 수 있는지 한계를 정합니다. 0.010 nats의 주입된 효과에서 프로파일 탐침은 오라클 이득의 24~59%를 회복하며, 참조 보존 보정 탐침은 두 가지 CIFAR-100 환경에서 각각 8% 및 23%를 회복하여 실제 레이블에 적용하기 위해 설정한 임계값에 미치지 못했습니다. 본 결과는 조건부 라우팅 정보의 부재가 아니라, 대조군에 따른 이득과 추정량 회복의 불완전성을 입증합니다.

arXiv:2610.02005v1cs.AI공통 태그 Uncertainty Quantification, model calibration

움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증

Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries

다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.