arXiv:2608.26235v1 cs.AI

추론 세금(The Reasoning Tax): 과제 유형과 배포 환경에 따른 LLM 추론의 토큰 경제학

The Reasoning Tax: Token Economics of LLM Reasoning Across Task Types and Deployment Contexts

Sachin Gopal Wani, Ajay Dholakia, David Ellison

제출 2026-08-26

한국어 초록

추론 능력을 갖춘 대규모 언어 모델(LLM)을 정확도만으로 벤치마킹하면 핵심적인 배포 관련 질문, 즉 확장된 사고 토큰(thinking token)이 언제 그 비용만큼의 가치를 하는가라는 질문을 놓치게 된다. 본 논문은 추론 모델이 비추론 기준선(baseline) 대비 얻는 정확도 향상을 생성된 토큰 배수로 정규화하여 측정하는 한계(marginal) 벤치마킹 지표인 Token Economy Score(TES)를 제안한다. 추론 토글(toggle)을 가진 모델 패밀리와, 직접적인 비추론 대응 모델이 없는 최첨단(frontier) 모델을 위해 각각 쌍(paired) TES와 근사(approximated) TES 변형을 정의한다. 이어서 수학, 코드 생성, 과학 추론, 인스트럭션 팔로잉, 전문가 지식, 지식 회상, 연구 수준 물리학을 아우르는 7개 벤치마크에서 총 151회의 모델-벤치마크 평가 실행에 대한 실증적 벤치마킹 분석을 수행한다. 이 분석은 배포와 직결되는 세 가지 차원, 즉 어떤 과제 구조가 양의 한계 추론 효율을 내는지, 추론 노력(reasoning effort)을 높이면 모델 패밀리 내에서 TES가 어떻게 변하는지, 그리고 배포 환경에 따라 경제적 타당성이 어떻게 달라지는지를 살펴본다. 결과에 따르면 추론 효율은 명목상의 난이도보다 과제 구조가 더 잘 예측한다. AIME 2025와 LiveCodeBench처럼 순차적 추론 사슬(inference chain)이 필요한 과제는 높은 TES를 보인 반면, MMLU-Pro와 같은 지식 회상 과제는 어려움에도 불구하고 낮은 TES를 보였다. 또한 더 높은 추론 노력 수준에서는 수확 체감이 체계적으로 나타나며, 추가적인 사고가 오히려 정확도를 떨어뜨리는 경우도 있음을 확인했다. 마지막으로 추론 비용 비중(Reasoning Cost Share, RCS)은 추론(inference) 비용의 상당 부분이 내부 사고에 의해 좌우되는 경우가 많음을 보여주며, 배포 비용 배수(Deployment Cost Multiplier, DCM)는 온프레미스 배포가 그렇지 않으면 비용이 큰 추론 워크로드의 경제성을 어떻게 바꿀 수 있는지를 보여준다. 이러한 결과는 벤치마킹에 기반한 모델 선택 규칙, 즉 추론을 모든 경우에 유익한 모드로 취급하기보다 과제 유형, 노력 수준, 배포 환경에 따라 선택적으로 활성화해야 한다는 규칙을 뒷받침한다.

원문 초록

Accuracy-only benchmarking of reasoning-capable large language models misses a central deployment question: when do extended thinking tokens earn their cost? We introduce the Token Economy Score (TES), a marginal benchmarking metric that measures the accuracy gain of a reasoning model over a non-reasoning baseline, normalized by the generated-token multiplier. We define paired and approximated TES variants for model families with reasoning toggles and frontier models without direct non-reasoning counterparts. We then conduct an empirical benchmarking analysis across 151 model-benchmark evaluation runs on seven benchmarks spanning mathematics, code generation, science reasoning, instruction following, expert knowledge, knowledge recall, and research-level physics. The analysis examines three deployment-facing dimensions: which task structures yield positive marginal reasoning efficiency, how increasing reasoning effort changes TES within model families, and how deployment context changes economic viability. Results show that task structure predicts reasoning efficiency better than nominal difficulty: sequential inferencechain tasks such as AIME 2025 and LiveCodeBench show high TES, while knowledge-recall tasks such as MMLU-Pro show low TES despite their difficulty. We also find systematic diminishing returns at higher reasoning effort levels, including cases where additional thinking reduces accuracy. Finally, Reasoning Cost Share (RCS) shows that inference spend is often dominated by internal thinking, while Deployment Cost Multiplier (DCM) shows how on-premises deployment can change the economics of otherwise costly reasoning workloads. These findings support a benchmarking-driven model-selection rule: enable reasoning selectively by task type, effort level, and deployment context rather than treating it as a universally beneficial mode.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.26235v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.