arXiv:2606.20544v1 cs.AI

분포 변화 하에서 보정된 전문가 혼합(MoE)을 향하여

Toward Calibrated Mixture-of-Experts Under Distribution Shift

Gina Wong, Drew Prinster, Suchi Saria, Rama Chellappa, Anqi Liu

제출 2026-06-18

한국어 초록

캘리브레이션은 모델의 예측 불확실성을 경험적 결과의 빈도와 정렬하며, 보고된 확률을 이해하고 신뢰하는 데 중요합니다. 최근 연구에 따르면 개별 예측기 수준에서 캘리브레이션을 적용하면 앙상블 정확도와 캘리브레이션을 향상시킬 수 있으며, 특히 전문가 혼합(MoE) 모델에서 강력한 경험적 개선을 보여줍니다. 그러나 캘리브레이션이 MoE에 도움이 되는 조건은 아직 잘 이해되지 않았습니다. 본 연구에서는 분포 변화 하에서 MoE 모델이 어떻게 작동하는지 연구하며, 라우팅 메커니즘이 전문가 수준 캘리브레이션과 어떻게 상호작용하는지에 초점을 맞춥니다. 우리는 전문가 캘리브레이션이 하드 라우팅 모델에서 광범위한 분포 변화 클래스 하에서 전체 모델의 캘리브레이션을 보장하는 데 충분하지만, 소프트 라우팅 모델을 캘리브레이션하는 데에는 불충분하다는 것을 보여줍니다. 이를 해결하기 위해 우리는 분포 변화 하에서 라우팅된 집계의 캘리브레이션 오류에 페널티를 부과하는 적대적 재가중치(adversarial reweighting)를 제안하며, 이것이 모델 클래스, 예측 작업 및 분포 변화에 걸쳐 평균적으로 그리고 데이터의 어려운 하위 집합에서 정확도-캘리브레이션 트레이드오프를 개선함을 입증합니다.

원문 초록

Calibration aligns a model's predictive uncertainty with the frequencies of its empirical outcomes and is important for understanding and trusting reported probabilities. Recent work shows that enforcing calibration at the level of individual predictors can improve ensemble accuracy and calibration, with mixture-of-experts (MoE) models showing strong empirical improvements in particular; however, the conditions under which calibration helps MoE are not well understood. In this work, we study how MoE models behave under distribution shift, focusing on how routing mechanisms interact with expert-level calibration. We show that expert calibration is sufficient to ensure calibration of the overall model under a broad class of distribution shifts in hard-routed models, but is insufficient for calibrating soft-routed models. To address this, we propose an adversarial reweighting that penalizes calibration errors of the routed aggregate under distribution shift, and we demonstrate that it improves the accuracy-calibration tradeoff both on average and on difficult subsets of the data, across model classes, prediction tasks, and distribution shifts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20544v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13654v1cs.LG공통 태그 Uncertainty Quantification, calibration

TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기

TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.

arXiv:2610.10829v1stat.ML공통 태그 Uncertainty Quantification, calibration

부분 검증 조건에서의 등각 예측

Conformal Prediction under Partial Verification

등각 예측(Conformal prediction)은 유한 표본 보장을 제공하는 예측 집합을 산출하지만, 캘리브레이션에 필요한 라벨 검증 비용은 매우 클 수 있습니다. 본 연구에서는 완전 검증과 정확히 동일한 예측 집합을 반환하는 부분 검증 기법을 개발합니다. 등각 임계값을 결정하기에 충분한 검증 정보인 캘리브레이션 인증서(calibration certificate)의 특성을 규명하고, 여러 캘리브레이션 예시 간의 검증을 조율하는 절차를 설계합니다. 높은 커버리지에서의 유한한 임계값에 대해, 후보군을 순서대로 확인할 때 본 방법의 검증 비용은 최소 인증서 비용의 2배 미만입니다. 검색, 수학 문제 풀이, 구성 평가 전반에서 이 방식은 동일한 예측 집합을 생성하면서도 캘리브레이션 예시를 하나씩 검증하는 방식 대비 검증 비용을 15~82% 절감합니다.

arXiv:2609.34024v2cs.AI공통 태그 Uncertainty Quantification, calibration

의학 분야에서의 Jev: 벤치마크 평가

Jev in Medicine: A Benchmark Evaluation

Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.

arXiv:2610.01006v1cs.AI공통 태그 Uncertainty Quantification, calibration

답변 신뢰도를 넘어서: 블랙박스 의사결정 모델의 자기 지식에 대한 통제된 감사

Beyond Answer Confidence: A Controlled Audit of Self-Knowledge in a Black-Box Decision Model

의사결정 모델(decision model)은 라우팅, 기권, 자동화된 조치를 목적으로 확률을 반환합니다. 캘리브레이션(calibration)은 이러한 확률을 평균적으로 유용하게 만들지만, 낮은 신뢰도가 단순 우연을 반영하는지 혹은 결측된 지식을 반영하는지, 그리고 모델이 자신이 아는 범위를 벗어날 때 신뢰도가 떨어지는지는 규명하지 못합니다. 본 연구에서는 고정된 항목에 제공되는 정보를 변화시키는 쌍체 개입을 활용하여, 15개 이상의 공개 데이터셋과 6개의 생성된 태스크 패밀리를 통해 의사결정 모델인 Jev에서 이러한 차이를 감사(audit)합니다. Jev의 신뢰도는 익숙한 폐쇄형 선택 태스크에서는 잘 보정(calibrated)되지만, 결측된 지식을 나타내는 지표로서는 실패합니다. 답변 관련 정보가 전혀 없는 경우에도 두드러진 선택지에 최대 0.80을 할당하며, 관찰된 지식 경계를 벗어난 뉴스에서는 정확도보다 0.21~0.33 높은 값을 보여 이전 달의 데이터로 재보정해도 이 격차는 좁혀지지 않습니다. 타깃팅된 예/아니오 질문은 해당 사례에 대해 더 명확한 판독 결과를 제공합니다. 결과가 확정되었는지 여부(AUROC 1.00) 및 증거가 충분한지 여부(동일 항목의 신뢰도 0.85 대비 0.95)를 더 잘 포착합니다. Jev에게 답을 알고 있는지 묻는 방식은 조작된 개체와 지식 경계 이후의 뉴스를 식별(0.91)하는 것처럼 보이지만, 현실적인 이름이 주어지거나 날짜가 제거되면 답변 불확실성 대비 아무런 이점을 보이지 않습니다. 따라서 블랙박스 지식 감사에는 표면적 단서에 대한 명시적인 통제가 필요합니다. 코드: https://github.com/Syntheme/beyond-answer-confidence.

arXiv:2609.27954v1cs.LG공통 태그 Uncertainty Quantification, calibration

정확도 격차가 인증을 대신하지 못할 때: LLM 심판의 교차 도메인 재보정 감사

When Accuracy Gaps Fail to Certify: Auditing Cross-Domain Recalibration of LLM Judges

한 과제에서 LLM 심판에 대해 적합시킨 스칼라 재보정 맵은 과제 분포가 바뀌면 실패할 수 있지만, 소스-타깃 정확도 격차는 그 실패에 대한 대리 지표로 자주 취급된다. 13개의 심판, 2개의 생성기, 8개 도메인, 1,176개의 사전 선언된 전이에 걸쳐 이 격차가 무엇을 예측할 수 있고 무엇을 인증할 수 있는지 검증한다. 평균 점수 이동을 보정한 뒤, 격차는 타깃 보정 오류에 대한 모집단 하한을 제공하지만, 동일한 격차가 상반된 전이 결과를 낳을 수 있다. 정확한 importance weighting은 공변량 이동(covariate shift) 하에서 타깃 proper 손실을 복원하므로, 추정 가중치 파이프라인의 실패만으로는 조건부 이동이 성립한다고 볼 수 없다. 유한 표본 동시 하한 인증서는 평가 결과와 분리된 감사 레이블을 사용하여 모집단 하한을 일측 거부 규칙으로 변환한다. 누수 없는 격차 상관은 0.25(95% CI [-0.09, 0.55])이며, 두 번째 생성기에서는 0.09로 떨어지고 생성기 불변 연관을 뒷받침하지 않는다. 인증서는 명목 coverage를 유지하지만 m=1024에서도 검정력이 0.13이고, 반면 16개 레이블을 사용한 타깃 도메인 temperature scaling은 harm rate 0.09에 도달하며, 소스에서 적합한 Platt scaling은 0.34이다. 따라서 정확도 격차는 스칼라 확률 전이에 대한 약한 경고 신호일 뿐이며, 배포 인증서가 아니다.

arXiv:2609.26468v1cs.CL공통 태그 Uncertainty Quantification, calibration

건초더미에서 여러 개의 바늘을 찾았는지 추정하는 방법: 다중 레이블 텍스트 분류에서의 캘리브레이션 측정

How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification

자동 예측의 신뢰 여부를 결정하는 핵심 요소는 신뢰도 점수(confidence score)이며, 이는 예측이 맞을 실제 확률과 일치하도록 보정(calibration)되어야 합니다. 대부분의 신뢰도 캘리브레이션 지표는 이진 또는 다중 클래스(multi-class) 태스크를 대상으로 하는 반면, 다중 레이블(multi-label) 캘리브레이션은 여전히 미개척 분야로 남아 있습니다. 임상 기록에 의료 코드를 부여하거나 뉴스 주제를 결정하는 등의 다중 레이블 분류(classification) 태스크는 일반적으로 해당하지 않는 레이블인 방대한 양의 음성(negative) 데이터가 지배적입니다. 우리는 레이블별 기대 캘리브레이션 오차(expected calibration error)를 계산하기 위한 기존의 구간화(binning) 방식들이 오차를 과소평가하거나 단순히 레이블 빈도를 반영하거나 인스턴스가 극히 적은 구간이 다수 발생하는 문제를 겪는다는 것을 보입니다. 신뢰할 수 있는 레이블별 캘리브레이션 오차를 얻기 위해, 우리는 양성 및 음성 레이블 할당에 동일한 가중치(weight)를 부여하는 새로운 구간화 방식을 제안합니다. 실증 연구를 통해 제안된 새로운 방식이 기존 방식과 대조적으로 계층적(hierarchical) 및 극단적 다중 레이블 분류(extreme multi-label classification)에서 유의미한 캘리브레이션 오차 추정치로 이어진다는 점을 입증합니다. 또한 대규모 언어 모델(LLM)의 다중 레이블 예측 신뢰도 점수를 보정하는 것이 여전히 미해결 과제임을 밝힙니다. 우리의 상세한 분석은 다중 레이블 분류에서 캘리브레이션을 측정하기 위한 탄탄한 평가(evaluation) 지표를 제공함으로써 후속 연구를 위한 기반을 마련합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.