적응형 추론의 전체 비용을 반영한 반사실적 평가
A Full-Ledger Counterfactual Audit of Adaptive Reasoning
한국어 초록
적응형 추론에서는 지금 답할지 연산을 더 쓸지 결정해야 한다. 현재 답이 틀렸다는 예측만으로 추론을 더 하면 나아질지는 알 수 없다. 전체 비용 반사실적 가치 평가(FLCVA)를 소개한다. 같은 답변 생성 절차에서 고정한 동일 접두 문맥을 출발점으로 즉시 답하는 경우와 길이를 고정한 연속 추론 네 가지를 비교한다. 정책이 사용하는 모든 신호의 비용을 계산한다. GSM8K와 MATH-500에서 무작위로 뽑은 256토큰의 연속 추론은 Qwen3-8B의 오답 중 26.6%, DeepSeek-R1-Distill-Qwen-7B의 오답 중 18.9%를 바로잡았다. 반면 정답을 오답으로 바꾼 비율은 각각 1.4%, 1.9%였다. 독립적으로 샘플링한 연속 추론의 정오 레이블은 두 주요 모델 모두에서 별도의 연속 추론 결과를 예측했다. 오프라인 재실행에서 이 레이블로 연산량을 배분하면 DeepSeek의 성능이 높아졌다. Qwen3의 개선 여부는 명확하지 않았다. 모든 비용을 계산하면 테스트한 경량 단기 판단 제어기는 주로 현재의 오류를 인식했으며, 이 판단을 넘어 연속 추론을 배정하는 데 추가한 가치는 작았다. Llama-8B 재현 실험과 행동 및 비용에 관한 제거 실험으로 이러한 결과의 강건성을 살펴봤다. FLCVA는 특정 시점에서 추론을 이어갈 가치의 측정, 관측 가능한 신호에 근거한 가치 예측, 그 예측을 활용한 연산 배분을 구별한다.
원문 초록
Adaptive reasoning must decide whether to answer now or spend more compute. Predicting that the current answer is wrong does not establish whether further reasoning will improve it. We introduce the Full-Ledger Counterfactual Value Audit (FLCVA), which compares an immediate answer with four fixed-length continuations from the same frozen prefix under one answer procedure and accounts for the cost of every signal used by a policy. On GSM8K and MATH-500, a random 256-token continuation recovers a wrong answer in 26.6% of Qwen3-8B cases and 18.9% of DeepSeek-R1-Distill-Qwen-7B cases, while damaging a correct answer in 1.4% and 1.9%. Correctness labels from independently sampled continuations predict a separate continuation's outcome in both primary models. In offline replay, using these labels to allocate compute improves performance on DeepSeek; the Qwen3 gain remains inconclusive. Under full cost accounting, the tested lightweight, myopic controllers mainly recognize current errors and add little continuation-specific value beyond that shortcut. A Llama-8B replication and action/cost ablations examine the robustness of these findings. FLCVA separates measuring local continuation value, predicting it from observable signals, and using those predictions to allocate computation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22778v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.