arXiv:2611.21651v1 cs.CL

일관성은 교정이 아니다: LLM 에이전트에서 신뢰도, 기권, 복구의 분리

Consistency Is Not Correction: Separating Confidence, Abstention, and Recovery in LLM Agents

Khushal Sethi

제출 2026-11-18

한국어 초록

답변을 재샘플링하거나, 더 큰 모델로 에스컬레이션하거나, 기권하는 컨트롤러는 보통 신뢰도 신호로 정당화된다. 그러나 그러한 신호에 대한 세 가지 주장은 서로를 함의하지 않는다. 신호가 답변의 순위를 매긴다(판별), 일부 답변을 보류하는 것을 뒷받침한다(선택적 예측), 그리고 답변을 더 나은 방향으로 바꾼다(교정 효용)는 것이다. 본 논문은 세 번째 주장을 게이트된 복구에서 게이트된 손해를 뺀 값으로 정확하게 분해하며, 이는 비교가 실행되기 전에 성공 가능 여부를 제한한다. 제안만 교체하는 게이트는 기본 정책이 이미 틀린 곳에서만 작동할 수 있으므로, 초기 오류 수가 올바른 게이트가 만들어 낼 수 있는 불일치 쌍의 상한이 된다. 이 상한이 쌍체 검정이 필요로 하는 수보다 작으면, 실험은 정상 작동하는 메커니즘에 대해 긍정적 결과를 낼 수 없으며 한 번도 발동하지 않은 게이트와 구별할 수도 없다. 두 가지 모델 규모에서 세 가지 대상을 모두 측정한 결과 이 한계가 실제로 구속력을 가짐을 확인하였다. 소형 모델 스위트에서 섭동 일치 검증기는 정책 내 AUROC 0.990(95% 구간 [0.95, 1.00])에 도달하지만, 모든 에피소드 결과는 호출 횟수가 4.32배인 단일 샘플 디코딩과 일치한다. 통제된 840개 에피소드 연구에서는 60개의 GSM8K 결정 중 어느 것에서도 검증기가 제안을 교체하지 않았으므로 그 비교는 아무것도 검증하지 못했다. 여섯 컨트롤러에 걸친 GSM8K 이득 전체는 하나의 과제에서 나온 것이며, 이는 동일한 온도 0 반복 실행 결과가 서로 달랐던 과제, 즉 서비스가 재현하지 못하는 하나의 답변이다. 진단 세트에서 게이트가 도달할 수 있는 오류는 네 개였으나 검정에는 여섯 개가 필요했으므로, 완벽한 게이트조차 유의미한 결과를 얻을 수 없었다. 예산을 쓰기 전에 이를 발견할 수 있었을 두 가지 점검을 보고하고, 순위의 동점 처리, 동점 선택 컷오프, 불균등한 출력 제한이 같은 데이터셋에서 각각 대표 수치를 바꿀 수 있음을 보인다. 이 문헌의 구속 조건은 신호의 선택이 아니라 측정 해상도이다.

원문 초록

A controller that resamples an answer, escalates to a larger model, or abstains is usually justified by a confidence signal. Three claims about such a signal do not follow from one another: it ranks answers (discrimination), it supports withholding some of them (selective prediction), and it changes an answer for the better (correction utility). We give an exact decomposition of the third into gated recoveries minus gated harms, which bounds whether a comparison can succeed before it is run: a gate that only replaces a proposal can act only where the base policy was already wrong, so the initial error count caps the discordant pairs any correct gate can produce. When that cap falls below the count a paired test needs, the experiment cannot return a positive result for a working mechanism, nor distinguish one from a gate that never fired. We measure all three targets on two model scales and find the bound binds. In a small-model suite a perturbation-agreement verifier reaches within-policy AUROC 0.990 (95% interval [0.95, 1.00]) while every episode outcome matches single-sample decoding at 4.32 times the call count. In a controlled 840-episode study no verifier replaced the proposal on any of the 60 GSM8K decisions, so that comparison tested nothing; the entire GSM8K gain across six controllers is one task, and it is the task whose identical temperature-zero repeats disagreed, making it the one answer the service does not reproduce. On the diagnostic set the gate could reach four errors while the test needed six, so even a perfect gate had no significant result available. We report two checks that would have caught this before any budget was spent, and show that tie handling in rankings, tied selection cutoffs, and unequal output limits each move a headline number in the same dataset. The binding constraint on this literature is measurement resolution, not the choice of signal.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21651v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.