arXiv:2611.21946v1 cs.AI

보존되는 평결, 표류하는 확신: 해로운 과잉 사고의 식별

Conserved Verdicts, Drifting Commitments: Identifying Harmful Overthinking

Jianghong Zhou, Hao Rong, Chen Lin

제출 2026-11-18

한국어 초록

올바른 답에 도달한 추론 모델이 계속 생각함으로써 그 답을 잃을 수 있다. 멈출지 결정하려면 사고 사슬의 같은 지점에서 두 확률을 비교해야 한다. 하나는 모델이 지금 멈춘다면 내놓을 답이 맞을 확률(확신)이고, 다른 하나는 모델이 최종적으로 내놓을 답이 맞을 확률(평결)이다. 우리는 최종 정답 프로브가 추정하는 평결만으로는 이 비교를 할 수 없음을 보인다. 고정된 결과에 대한 예측으로서 평결은 계속하는 것이 도움이 되든 해가 되든 예측 가능한 표류가 없다. 확신-평결 격차는 답 품질의 기대 잔여 변화이자 멈춤으로써 얻는 정확도와 같다. 두 번째 항등식은 정확도-예산 곡선을 사슬 내부의 답 변화와 아직 진행 중인 사슬의 구성 변화로 분해한다. 우리는 이 둘을 MATH-500에서 측정한다. 사슬이 어떻게 끝나는지와 무관하게 선택된, DeepSeek-R1-Distill-Qwen-1.5B가 올바른 답을 가진 모든 379개 지점에서, 계속하면 평균 3.6점을 잃으며(95% CI [2.2, 5.2]) 손실은 소수의 문제에 집중된다. 세 계열의 여섯 추론 모델에서, MATH-500과 OlympiadBench 및 최대 16,384 토큰의 예산에 대해, 정확도 곡선의 하락은 어떤 사슬이 남아 있는지에서 비롯되며, 여전히 추론 중인 사슬은 답을 유지하거나 개선한다. 오라클 정지 규칙은 1.5B와 7B에서 최대 +1.8점과 +2.5점을 얻는다. 이 프레임워크는 정지 규칙을 만들기 전에 무엇을 측정해야 하는지를 말해 준다.

원문 초록

A reasoning model that has reached a correct answer can lose it by continuing to think. Deciding whether to stop means comparing two probabilities at the same point of a chain: that the answer the model would give if stopped now is correct (its commitment), and that the answer it will finish with is correct (its verdict). We show that the verdict alone, which is what final-correctness probes estimate, cannot make this comparison. As a forecast of a fixed outcome it has no predictable drift, whether continuing helps or hurts. The commitment-verdict gap equals the expected remaining change in answer quality and the accuracy gained by stopping. A second identity splits any accuracy-versus-budget curve into answer change within chains and change in which chains are still running. We measure both on MATH-500. At all 379 points where DeepSeek-R1-Distill-Qwen-1.5B holds a correct answer, selected without regard to how its chain ends, continuing loses 3.6 points on average (95% CI [2.2, 5.2]), and the loss concentrates in a few problems. In six reasoning models from three families, on MATH-500 and OlympiadBench and with budgets up to 16,384 tokens, declining accuracy curves come from which chains remain, while the chains still reasoning keep or improve their answers. An oracle stopping rule gains at most +1.8 and +2.5 points at 1.5B and 7B. The framework says what to measure before building a stopping rule.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21946v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.