조정자(coordinator)가 이종 파운데이션 모델(foundation model)들의 답변을 비교할 때, 모델이 자체 보고한 신뢰도(confidence)는 응답자 및 변화하는 워크로드에 따라 서로 다른 의미를 가질 수 있습니다. 본 논문에서는 모델을 재학습하거나 별도의 홀드아웃 캘리브레이션 셋(held-out calibration set)을 요구하지 않고, 관측된 답변 결과로부터 모델별 신뢰도 보정을 학습하는 런타임 캘리브레이션 방법인 MARGIN(Multi-Agent Runtime Grading via Incremental Normalisation)을 제시합니다. MARGIN은 신뢰도 구간(confidence band) 내에서 최근 정확도와 제시된 신뢰도를 추적하고, 둘의 비율을 사용하여 보고된 신뢰도를 보정하며, 희소 구간(sparse-band) 보정을 모델 수준의 추정치로 결합합니다. 보정된 점수는 집합적 결정에서 후보 답변들의 가중치를 부여합니다. 평가는 18개 모델 풀과 분포 변화(distribution-shift) 실험을 위한 9개 모델 하위 집합을 사용하여 코드 생성, 질의응답, 수학 영역을 다룹니다. BigCodeBench에서 모델 평균 신뢰도는 정확도와 음의 상관관계를 보였으며, 정답/오답 응답 쌍 중에서 더 자신 있는 응답자를 선택하는 방식은 무작위 선택(chance)보다 낮은 성능을 보였습니다. 동일한 피드백을 받고 각 전이(transition) 전반에 걸쳐 학습된 상태를 유지하는 5개의 온라인 캘리브레이션 베이스라인과 비교했을 때, MARGIN은 2개의 코드 생성 전이에서 5개 모두보다 더 낮은 분포 변화 후 기대 캘리브레이션 오차(ECE)를 달성했고, 질의응답 전이에서는 4개보다 낮은 오차를 달성했으며 나머지 질의응답 비교는 결정적이지 않았습니다. 별도의 코드 생성 조정 실험에서 캘리브레이션은 정답 응답의 순위를 개선하고, 보정되지 않은 신뢰도 가중치 부여 대비 3개 벤치마크 중 2개에서 답변 선택 정확도를 각각 4.3%p 및 14.0%p 향상시켰습니다. 이러한 결과는 참여 응답자에 대한 정답 여부 피드백이 제공될 때, 변화하는 워크로드 하에서 조정을 위한 모델별 런타임 캘리브레이션의 효용성을 뒷받침합니다.
본 논문에서는 대규모 언어 모델(LLM)이 추론 정확도를 향상하는 동시에 자신의 신뢰도(confidence)를 언어로 표현하도록 강화학습(RL)을 통해 학습하는 설정을 고려합니다. 본 연구의 보상 체계는 LLM이 언어화한 신뢰도를 보상하기 위해 두 가지 함수를 사용하며, 하나는 정답을 위한 함수이고 다른 하나는 오답을 위한 함수입니다. 이러한 체계가 부실하게 설계될 경우, LLM이 신뢰도를 보정받기 위해 오답을 내도록 유도할 수 있으며, 저자들은 이 현상을 '신뢰도 보상 해킹(confidence reward hacking)'이라고 명명합니다. 저자들은 해킹 불가능한(non-hackable) 신뢰도 보상 체계라는 개념을 도입하고 이를 구축하는 방법을 제시합니다. 또한 해킹 가능한 보상 체계에서는 실제 데이터셋에서 선택적 신뢰도 보상 해킹이 발생할 수 있는 반면, 해킹 불가능한 보상 체계는 해킹에 견고함을 보입니다. 마지막으로 저자들은 이러한 체계 중 일부를 RL 기반 신뢰도 보정을 위한 과잉 신뢰-과소 신뢰 스펙트럼상에 배치하고, 스펙트럼 내 다른 체계에 비해 해당 보정 편향을 나타내는 경향이 있음을 실험적으로 입증합니다. 실험 코드는 https://anonymous.4open.science/r/rl-confidence-calibration-9ED4/README.md 에서 확인할 수 있습니다.
신뢰할 수 있는 대규모 언어 모델(LLM)은 정확한 답변을 생성하는 것뿐만 아니라, 정답일 확률을 충실히 반영하는 신뢰도(confidence)를 표현해야 한다. 이러한 캘리브레이션(calibration)은 불확실한 예측을 식별하고 실제 배포 환경에서의 신뢰할 수 있는 의사결정을 지원하는 데 필수적이다. 최근 연구들은 캘리브레이션 학습을 강화학습에 결합하여, 정답 여부에 대한 정답(ground-truth) 정확성 감독(supervision)을 이용해 답변 정확성과 언어로 표현된 신뢰도(verbalized confidence)를 공동으로 최적화한다. 그러나 이러한 접근법은 레이블이 있는 데이터에 의존하기 때문에, 정답 레이블을 사용할 수 없고 캘리브레이션이 새롭게 접하는 목표 과제(target task)에 적응해야 하는 실제 테스트 시점(test-time) 환경에서의 적용 가능성이 제한된다.
이러한 문제를 해결하기 위해, 우리는 레이블이 없는 목표 과제 데이터에서 직접 추론 정확도와 언어로 표현된 신뢰도를 공동으로 적응시키는 레이블-프리(label-free) 프레임워크인 테스트 시점 캘리브레이션 학습(Test-Time Calibration Learning, TTCL)을 제안한다. 구체적으로, TTCL은 다수의 모델 생성 응답으로부터 정답 여부와 캘리브레이션 모두에 대한 자기 감독(self-supervision) 신호를 도출하여, 정답 레이블 없이도 테스트 시점에서의 캘리브레이션 학습을 가능하게 한다. 이론적 분석을 통해 TTCL이 이상적인 캘리브레이션 목적함수에 대한 경계가 있는(bounded) 대체 목표(surrogate)임을 추가로 입증한다.
수학적 추론과 사실 기반 질의응답(factual question answering)에 대한 광범위한 실험을 통해, TTCL이 다양한 모델과 과제에서 정확도와 캘리브레이션을 일관되게 향상시킨다는 것을 보인다. 기본 모델(base model)에서 TTCL은 8개의 벤치마크에서 평균 상대 정확도 개선 +40.13%와 ECE(Expected Calibration Error) 감소 +70.80%를 달성한다. 더불어 TTCL은 이미 캘리브레이션된 모델에 대해서도 도메인 변화(domain shift) 상황에서 정확도와 캘리브레이션을 더욱 개선할 수 있으며, 특히 소스 도메인(source-domain)의 캘리브레이션이 목표 과제로 잘 전이되지 않는 경우에 효과적이다. 수학-사실 기반 질의응답(math-to-factQA) 설정에서 TTCL은 평균 상대 정확도 향상 +20.35%를 달성하고 ECE를 +53.83% 감소시킨다. 소스 코드는 https://github.com/tmlr-group/TTCL 에서 공개되어 있다.
심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.
멀티모달 학습(MML)은 모달리티 불균형 현상으로 인해 최적화 딜레마에 빠지며, 실제로 전반적인 성능이 최적에 미치지 못하는 결과를 낳습니다. 기존의 많은 시도는 이 문제를 해결하기 위해 주로 모달리티 간 최적화 동역학의 균형을 맞추는 데 초점을 두지만, 본 연구는 미묘하지만 결정적인 결함을 발견했습니다. 최적화가 예측 확실성(predictive certainty)에서 비대칭적인 이득을 만들어 강한 모달리티가 약한 모달리티보다 더 높은 확신을 갖게 되고, 이것이 모달리티 기여도의 불균형을 초래한다는 점입니다. 본 논문의 분석은 이 결함이 멀티모달 학습 자체가 아니라 단일 모달리티의 특성에서 비롯되며, 이러한 확신도 불일치는 긍정적인 교차 모달 개입(cross-modal intervention)으로 바로잡을 수 있음을 보여줍니다. 이러한 통찰을 바탕으로, 모달리티의 의미적 확신도에 동적으로 개입하는 멀티모달 Max Confidence Regularization(MaxCR)을 제안합니다. 구체적으로, 각 모달리티의 의미적 확신도는 비선형 희소성(sparsity) 척도를 사용해 추적합니다. 그런 다음 이 척도를 기반으로 max suppression과 max excitation을 설계하여 각각 강한 모달리티와 약한 모달리티를 정규화(regularization)합니다. 이들은 top-1 확신도를 각각 억제하고 촉진함으로써 멀티모달 예측을 제약합니다. 이를 통해 강한 모달리티와 약한 모달리티 모두 보정된(calibrated) 확신도를 갖게 되어 전반적인 성능이 향상될 것으로 기대됩니다. 널리 사용되는 데이터셋에서 수행한 실험 결과, 본 방법은 다양한 최첨단(SOTA) 멀티모달 학습 베이스라인과의 비교에서 우수성을 보였습니다.
LLM-as-judge 시스템에서 널리 가정하는 "합의(agreement) = 정확성" 전제를 265,000개 샘플 규모의 크로스-러너 감사(audit)로 검증한 결과, 자기일관성(self-consistency)은 긍정적이나 약한 예측 변수(ρ 0.20–0.59)에 불과하며, 특히 최상위 프론티어 모델은 GPQA Diamond 케이스의 77%에서 합의율 ≥0.8을 기록하면서도 그 중 48%가 오답으로 나타나 과신뢰(over-confidence) 문제가 심각했다. 자기일관성은 독립적인 신뢰도 점수가 아닌 모델 계층·합의 수준·사용 목적에 따라 유용성이 달라지는 조건부 대리 지표임을 실증적으로 규명한다.
멀티모달 학습은 의료 예후와 같은 응용에서 예측 성능을 향상시키는 견고한 접근법이다. 그러나 멀티모달 학습을 사용하는 모델의 임상 적용 가능성은 노이즈가 많거나 정보가 부족한 데이터 스트림에서의 낮은 성능으로 인해 제약을 받는다. 현재의 융합 접근법은 데이터 품질을 동적으로 평가하고 최종 예측에 대한 신뢰 가능한 신뢰도 점수를 제공하는 견고한 메커니즘을 종종 갖추지 못한다. 이는 안전성이 중요한 환경에서의 배포를 꺼리게 만든다.
이러한 한계를 해결하기 위해, 우리는 멀티모달 융합 모델의 신뢰성을 향상시키는 새로운 프레임워크인 적응형 신뢰도 가중 확장(Adaptive Confidence-weighted Expansion, ACE)을 제안한다. ACE는 먼저 모달리티 내 상관관계로부터 새로운 보완적 모달리티를 생성하여 멀티모달 공간을 확장한다. 그런 다음 (1) 융합 전에 모든 모달리티를 신뢰성에 따라 적응적으로 재가중하고 (2) 융합된 최종 결정에 대한 전역 신뢰 점수를 추정하는 이중 수준의 신뢰도 메커니즘을 사용한다.
ACE를 평가하기 위해, 우리는 네 가지 도전적인 멀티-오믹스 데이터셋(BRCA, KIPAN, LGG, ROSMAP)을 사용했다. ACE는 분류 성능과 신뢰도 보정 모두에서 기존 최신 알고리즘을 크게 능가한다. 우리의 프레임워크는 더 안정적이고 견고한 데이터 융합 방법을 제공하여, 고위험 문제 해결에 멀티모달 학습의 활용을 촉진한다.
CLIP과 같은 파운데이션 모델(foundation model)은 비전-언어(vision-language) 유사도를 통해 새로운 카테고리로 일반화하는 오픈-어휘(open-vocabulary) 객체 탐지기를 가능하게 했다. 그러나 이러한 탐지기가 생성하는 신뢰도 점수는 신뢰할 수 있는 위치화 확률 추정값이 아니다: 시각적 스케일과 의미론적 쿼리 특이성이 실제 탐지 신호와 혼재되기 때문이다. 세 가지 파운데이션 모델 기반 탐지기(GroundingDINO, OWL-ViT, YOLO-World)를 대상으로 COCO에서 수행한 통제 실험과, GroundingDINO를 사용하여 LVIS(1,203개 카테고리)에서 스케일 바이어스 결과를 추가로 재현한 실험을 통해, s=cos(v,t)가 두 가지 효과의 바이어스된 혼합임을 보인다. 스케일 바이어스(alpha = +0.064, r = 0.579, p = 1.29 x 10^-58)는 큰 객체에 대한 점수를 체계적으로 부풀린다. 의미론적 바이어스(beta = -0.705, p = 5.23 x 10^-41)는 일반적인 쿼리에 대한 점수를 억제한다. 두 바이어스 모두 CLIP의 이미지 수준 사전학습으로 인해 구조적으로 불가피하다. 임계값 조정으로는 이를 제거할 수 없다: 오라클(oracle) 스케일별 임계값 조정은 작은 객체에서 Delta F1 = +0.001, 큰 객체에서 +0.102를 산출한다. 매개변수 없는 온도 스케일링(temperature scaling) 보정은 재학습 없이 소형 객체의 Recall@10을 19.6%(p < 0.01) 향상시킨다. 다만 이는 풀링된 랭킹 정밀도에 적지만 측정 가능한 비용을 수반하므로, 바이어스는 추론 시점에 부분적으로만 역전될 뿐 완전히 제거되지는 않는다. 이러한 발견은 이미지 수준 파운데이션 모델을 영역 수준 탐지 태스크에 적용하는 것의 근본적인 한계를 드러낸다.
우리는 ICML 2026 Workshop on Efficient Multimodal Question Answering (EMM-QA)에서 개최된 QANTA 2026 공유 챌린지에 제출한 시스템을 소개한다. QANTA는 현실적인 효율성 제약 하에서 점진적으로 공개되는 텍스트와 함께 제공되는 이미지를 바탕으로 피라미드 방식의 질문에 답하는 멀티모달 퀴즈볼 시스템을 평가한다. 이 챌린지는 두 가지 별도의 태스크로 구성된다: 불확실성 하에서 언제 답할지를 결정해야 하는 Tossup 질문과, 정확한 답 선택 및 인간 수용을 강조하는 Bonus 질문이다. 이러한 상이한 목표를 해결하기 위해, 우리는 태스크 특화 2-에이전트 아키텍처를 개발하였다. Tossup 에이전트는 신뢰도 보정 답변과 고립된 정량적 단서로부터의 과신 예측을 줄이는 도메인 특화 수치 추론 정책을 갖춘 GPT-4o-mini급 모델(경쟁 로그에서 GPT-4.1-mini로 지칭)을 활용한다. Bonus 에이전트는 정확한 답 선택을 향상시키기 위해 리드인 인식 추론, 구조화된 관계형 추론, 멀티모달 증거 통합을 갖춘 GPT-4o급 모델(GPT-4.1로 지칭)을 사용한다. 검색 파이프라인이나 모델 앙상블에 의존하는 대신, 우리의 접근 방식은 호스팅 전용 환경 내에서 효율적인 추론 정책과 신뢰도 보정을 강조한다. 우리 시스템은 Tossup 점수 0.238과 Bonus Effect 점수 0.164를 포함하여 전체 리더보드 최고 점수인 0.402를 달성하였다. 이 결과는 경량의 태스크 특화 추론 전략이 자원 제약적 멀티모달 질의응답 벤치마크에서 강력한 성능을 제공할 수 있음을 보여준다.
대규모 언어 모델(LLM)의 선택적 답변 거부(abstention)는 "오답 생성"과 "답변 불가 질문에 대한 응답"이라는 두 개의 독립적인 축으로 분리됨을 2B~14B 규모의 다섯 모델에서 실증하며, 출력 신뢰도는 정오(正誤) 판단에는 유효하지만 답변 가능성 판별에는 거의 무력(AUROC 0.54~0.67)한 반면 은닉 상태 프로브는 0.97~0.99에 달한다. 이 두 축을 각각 별도로 임계값 처리하는 이중 위험 인증 정책은 단일 신뢰도 임계값 대비 올바른 답변 커버리지 0.75에서 두 예산을 모두 보증하며, 14B 모델에서는 이 정책만이 유일하게 인증을 통과한다.
추론 언어 모델의 신뢰도는 사고 전에는 프롬프트 해결 가능성, 사고 후에는 실제 답변의 정확성을 반영해야 하므로 CALIBER는 두 시점의 언어화 신뢰도를 함께 받아 각 정보 상태에 맞는 감독 목표로 학습한다. BigMathDigits 7B에서 최강 단일 신뢰도 기준 대비 기대 보정 오류(ECE)를 52.5% 줄이고 Brier score와 AUROC에서 최고 성능을 달성했으며, GPQA·TriviaQA 등 분포 외 벤치마크에서도 보정 오류를 일관되게 감소한다.
깊은 신경망은 종종 잘못 보정된 신뢰도 추정치를 생성하며, 예측이 틀렸을 때조차 확실성을 과대평가한다. Temperature Scaling은 단순함과 효과성 덕분에 가장 널리 사용되는 사후(post-hoc) 보정 방법으로 남아 있지만, logits에 대한 전역적이고 균일한 재스케일링은 신뢰도 스펙트럼 전반에서 관찰되는 보정 불량(miscalibration)의 고도로 이질적인 구조를 교정하지 못한다. 특히 설정에 따라 가장 큰 정확성-신뢰도 불일치는 서로 다른 분위수 영역에서 발생하며, 불확실성이 가장 중요한 저신뢰도 예측에서 가장 큰 정확성-신뢰도 불일치가 나타나는 경향이 있는데, 표준 TS는 이를 대부분 해결하지 못한다. 우리는 예측의 경험적 신뢰도 분위수의 함수로 온도를 적응시키는 단순하고 효율적인 사후 보정 방법인 Quantile Adaptive Temperature Scaling(QaTS)를 제안한다. 신뢰도를 분위수 공간으로 매핑함으로써 QaTS는 보정 문제를 정규화하고, 보정 불량의 구조를 명시적으로 드러내며, 분위수에 걸쳐 적응하는 단조(monotone) 온도 함수를 가능하게 하면서 잘 보정된 고신뢰도 예측은 대체로 변하지 않게 하여 고신뢰도 거동을 보존한다. 이 분위수 인식(quantile-aware) 공식화는 재매개변수화된 Expected Calibration Error(ECE) 목적함수와 자연스럽게 정렬되며, 클래스 불균형 및 분포 이동(distributional shift)과 같은 다양한 어려운 시나리오에서 견고한 샘플별 온도를 제공한다. 다양한 데이터셋, 아키텍처, 평가 시나리오 및 다양한 작업에 걸쳐 QaTS는 일관되고 상당히 최신 사후 보정 방법들을 능가하며, 모델 예측을 수정하지 않고 더 신뢰할 수 있고 믿을 만한 신뢰도 추정치를 제공한다.
다중 에이전트 AI 시스템은 요구사항 분석, 아키텍처 설계, 테스트 생성, 추적성 연결(linking)을 포함한 소프트웨어 공학 작업을 자동화하는 데 점점 더 많이 사용되고 있습니다. 이러한 에이전트들이 공유된 소프트웨어 아티팩트(artifacts)에 대해 순차적 파이프라인(pipeline)으로 작동할 때, 상위 스트림 에이전트가 만든 오류와 낮은 신뢰도를 가진 결정은 하위 단계로 전파되어, 고립된 요구사항(orphaned requirements), 모순된 연결, 그리고 안전 중요(safety-critical) 도메인에서 중대한 위험을 초래하는 규정 준수 격차(compliance gaps)를 발생시킵니다. 우리는 공유된 지식 그래프(knowledge graph)가 중앙화된 의미론적 메모리이자 조정 표면(surface) 역할을 하는 신뢰 인식 조정 프레임워크를 제안합니다. 이를 통해 에이전트들은 보정된 신뢰도 점수를 사용하여 서로의 기여를 평가하고 이를 기반으로 구축할 수 있습니다. 우리의 접근 방식은 임베딩 기반 검색과 LLM(대규모 언어 모델) 기반 다기준 분석을 결합한 2단계 추적성 연결 예측 파이프라인, 도출 시간(derivation-time)과 검증(validation) 시간의 신뢰도 비교를 가능하게 하는 추적성 시딩(seeding) 메커니즘, 그리고 신뢰도 임계값 게이팅(gating), 신뢰도 발산 감지, 충돌 해결을 통해 파이프라인 상호작용을 관리하는 일관성 프로토콜을 도입합니다. 우리는 연결 예측 보정, 프로토콜 효과성, 임계값 민감도, 추적성 시딩의 영향을 측정하는 자동차 소프트웨어 공학 사례 연구를 통해 평가를 수행했습니다. 제거 연구(ablation studies)는 신뢰도 보정이 효과적인 파이프라인 조정에 필수적임을 확인했습니다.
사실 기반의 임무 중요 영역에 대규모 언어 모델(LLM)을 배포하려면 모델 신뢰도를 정확히 평가하는 것이 필수적이다. 검색-증강 생성(RAG)이 그라운딩 개선을 위해 널리 채택되고 있지만, RAG 설정에서의 신뢰도 보정(calibration)은 여전히 잘 이해되지 않고 있다. 우리는 4개 벤치마크에 걸친 체계적 연구를 수행하여, LLM이 특히 노이즈가 있는 컨텍스트가 검색될 때 보정 성능이 좋지 않음을 밝혔다. 특히 상충되거나 무관한 근거는 모델의 과신(overconfidence) 문제를 악화시키는 경향이 있다. 이를 해결하기 위해, 우리는 노이즈 하에서의 과신을 해결하기 위한 원칙적 기반을 제공하는 NOVA Rules(NOise-Aware Verbal Confidence CAlibration Rules)를 제안한다. 또한 이 규칙들을 안내로 하여 약 2K개의 HotpotQA 예시로부터 지도 신호를 합성하는 노이즈 인식 보정 프레임워크 NOVA를 설계한다. 이 데이터로 지도 미세조정(SFT)을 수행함으로써, NOVA는 더 강한 교사 모델에 의존하지 않고 모델에 내재적 노이즈 인식을 부여한다. 실증 결과, NOVA는 상당한 이득을 보이며, 도메인 내에서는 ECE 점수를 10.9%, 도메인 외에서는 8.0% 개선한다. 검색 노이즈와 언어적 보정 간의 격차를 메움으로써, NOVA는 정확하고 인식론적으로 신뢰할 수 있는 LLM의 길을 연다.