캘리브레이션 순위가 역전될 때: 대규모 언어 모델의 공정한 비교를 위한 정확도-제어 평가
When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Fair Comparison of LLMs
한국어 초록
캘리브레이션(calibration)은 모델의 신뢰도가 실증적 정확도와 일치하는지를 평가한다. 기존 연구들은 기대 캘리브레이션 오류(Expected Calibration Error)와 브라이어 점수(Brier Score) 같은 전역 캘리브레이션 지표를 사용하여 서로 다른 대규모 언어 모델(LLM)의 캘리브레이션을 비교하는 경우가 많다. 우리는 먼저 이러한 비교가 모델 정확도의 차이로 인해 혼동될 수 있음을 이론적·실증적으로 보인다. 보다 공정한 교차 모델 비교를 위해, 우리는 인스턴스 정렬(Instance-Aligned), 분포 정렬(Distribution-Aligned), 후보 정렬(Candidate-Aligned) 캘리브레이션이라는 세 가지 보완적 관점을 갖춘 정확도-제어 평가 프레임워크인 ACE를 제안한다. 다수의 벤치마크, 모델 패밀리, 신뢰도 유도(confidence elicitation) 방법에 걸쳐 ACE를 활용하여 실용적으로 중요한 두 가지 비교 축인 소규모 모델 대 대규모 모델, 그리고 추론(thinking) 모델 대 비추론(non-thinking) 모델을 연구한다. 우리는 원시 전역 지표에서 보고된 많은 캘리브레이션 우위가 정확도 제어 후 크게 약화됨을 발견한다. 또한 순위 역전이 빈번하게 발생함을 확인하는데, 원시 지표에서 유리하게 평가된 모델이 정확도를 제어하면 더 이상 유리하지 않은 경우가 많다. 우리의 결과는 원시 전역 캘리브레이션 지표가 교차 모델 비교에 견고하지 않으며, 공정한 캘리브레이션 비교를 위해서는 정확도를 인식하는 평가가 필요함을 보여준다.
원문 초록
Calibration evaluates whether a model confidence aligns with its empirical accuracy. Existing studies often compare the calibration of different large language models using global calibration metrics such as Expected Calibration Error and Brier Score. We begin by showing, both theoretically and empirically, that such comparisons are confounded by differences in model accuracy. For fairer cross-model comparison, we then propose ACE, an accuracy-controlled evaluation framework with three complementary views: Instance-Aligned, Distribution-Aligned, and Candidate-Aligned calibration. Across multiple benchmarks, model families, and confidence elicitation methods, we use ACE to study two practically important comparison axes, small versus large models and thinking versus non-thinking models. We find that many previously reported calibration advantages under raw global metrics weaken substantially after accuracy control. We also find that ranking reversal is frequent: models favored by raw metrics often cease to be favored once accuracy is controlled. Our results show that raw global calibration metrics are not robust for cross-model comparison, and that fair calibration comparison requires accuracy-aware evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.30814v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기
TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.
같은 쿼리, 다른 답변: 시맨틱 쿼리 처리에서의 실행 간 변동성
Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
시맨틱 쿼리 엔진은 대규모 언어 모델(LLM)에 개별 행을 판단하도록 요청하며, 벤치마크는 온도(temperature) 0에서 몇 차례 실행한 품질을 바탕으로 이러한 엔진들을 비교합니다. 본 연구에서는 또 다른 실행에서 결과가 얼마나 달라지는지 측정합니다. 우리는 SemBench, LRO-Bench, UDA-Bench의 텍스트 및 테이블 워크로드를 각 벤치마크의 하네스를 통해 재실행하여 120만 건의 모델 호출을 모두 기록하고, SemBench의 공개된 실행 결과를 재분석했습니다. 온도 0에서도 5회 실행 동안 모델에 따라 0.07%에서 10.2%의 행이 연산자 출력을 변경했으며, 특정 태스크에서는 최대 24.0%에 달했습니다. 가능 세계 모델(possible-worlds model)이 예측하듯이, 쿼리 플랜은 답변이 노출하는 행의 수에 따라 이러한 변화를 지수적으로 증폭시킵니다. UDA-Bench에서는 추출된 값 중 소수 퍼센트만 변경되었음에도 답변의 약 3분의 2가 변경되었습니다. SemBench의 공개 결과에서는 결정론적 플랜을 사용하는 엔진을 포함하여 텍스트 결과의 21%가 실행 간에 품질 변화를 보였습니다. 쿼리별 시스템 비교 다수와 LRO-Bench의 구현 권장사항 테스트 28개 중 16개는 벤치마크가 수행한 실행만으로는 결론을 내릴 수 없었습니다. 변경되는 행은 모델 간에 서로 의견이 일치하지 않는 행이며, 단일 실행 내의 동일한 요청 간 불일치 빈도는 서로 다른 실행 간의 불일치 빈도만큼이나 잦았습니다. 또한 단일 실행의 결정 마진(decision margin)이나 추론 길이를 통해 어떤 행이 변경될지 예측할 수 있습니다. 보팅(voting)은 분산을 줄이지만 완전히 제거하지는 못하며, 보정된 캐스케이드(calibrated cascade)는 반환하는 행이 변경되는 와중에도 보장성을 유지합니다. 우리는 이를 바탕으로 벤치마크를 위한 보고 규칙과 엔진을 위한 설계 규칙을 도출합니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가
Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.