사고의 연쇄(Chain-of-Thought, CoT) 추론은 인간이 대규모 언어 모델(LLM)이 답변을 도출하는 과정을 점검하고 모델의 동작을 감독할 수 있게 해줍니다. 그러나 이러한 추론은 추론(inference) 비용 증가를 수반하므로, 모델이 더 적은 토큰을 사용하여 문제를 해결하도록 훈련시키는 효율적인 방법들이 주목받고 있습니다. 하지만 이러한 학습(training)으로 인해 모델이 중요한 추론 단계를 건너뛰게 되어 CoT가 더 이상 모델의 결정을 충실하게 반영하지 못할 수 있다는 우려가 흔히 제기됩니다. 효율화 방법마다 모델의 CoT에 길이 압박을 가하는 방식이 다르고, 모델의 결정을 충실하게 설명하는 데 필요한 토큰 수가 태스크에 따라 다르기 때문에 실제로 이러한 현상이 발생하는지, 혹은 언제 발생하는지는 불분명합니다. 이러한 역학을 이해하기 위해, 우리는 길이 압박을 서로 다르게 적용하는 세 가지 방법(고정된 생성 예산, 예시별 길이 목표, 그룹 상대적 길이 보상(reward))을 사용하여 다양한 모델을 파인튜닝(fine-tuning)합니다. 그리고 효율적 추론이 CoT 충실도(즉, CoT가 관련 입력에 대한 모델의 결정을 얼마나 잘 반영하는지)와 모니터링 가능성(즉, 입력 개입이 출력을 변경할 때 CoT가 이를 드러내는지 여부)에 어떤 영향을 미치는지 평가합니다. 그 결과, 이것이 충실도와 모니터링 가능성에 서로 다르게 영향을 미친다는 점을 발견했습니다. 충실도는 대부분의 설정에서 하락하는데, 이는 주로 학습된 모델의 일관성이 떨어지기 때문입니다. 반면 모니터링 가능성은 더 견고하여, CoT가 훨씬 짧아지더라도 모델은 자신의 답변에 미친 영향을 계속해서 드러냅니다.
대규모 추론 모델은 정확하면서도 불필요하게 긴 추론 궤적을 생성할 수 있습니다. 기존 방법들은 궤적 수준의 목표나 국소적인 토큰(token) 및 스텝 수준의 신호로 추론 효율성을 개선하지만, 스텝 간의 의미적 의존성을 모델링하는 경우는 드뭅니다. 이는 이후의 연역을 뒷받침하는 스텝과 불필요한 스텝을 구분하는 능력을 제한하여, 정확도를 희생하지 않고 추론을 단축하는 것을 더 어렵게 만듭니다. 우리는 추론 구조 내에서 스텝의 다운스트림 역할과 문제를 올바르게 해결하는 데 기여한 정도를 모두 기반으로 합당한 곳에 기여도를 부여함으로써 이러한 한계를 해결하는 RECAP(REdundancy-aware Credit Assignment via Propagation)을 소개합니다. 우리는 결과 독립적이고 대규모 언어 모델(LLM)이 주석을 단 의미적 의존성 그래프를 통해 최종 답변 노드(node)로부터 역방향으로 전파되는 기여도를 사용하여 이후 추론이 해당 스텝에 얼마나 강하게 의존하는지 측정함으로써, 스텝의 다운스트림 역할을 포착하는 구조적 책임을 정의합니다. 그러나 어떤 스텝은 높은 구조적 책임을 가지면서도 추론을 정답에서 벗어나게 유도할 수 있습니다. 따라서 RECAP은 각 스텝이 추가됨에 따른 정답 로그 가능도(likelihood)의 변화를 통해 정답 지향적 진전을 측정하는 스텝 효능을 도입합니다. 이 신호들은 함께 롤아웃(rollout) 수준의 GRPO 어드밴티지를 스텝별 업데이트로 재구성합니다. RECAP은 별도로 학습(training)된 프로세스 보상 모델(reward model)이나 사전에 구축된 간결한 궤적을 모두 필요로 하지 않습니다. 두 개의 7B 모델(model)과 네 개의 수학적 추론 벤치마크(benchmark) 전반에서 RECAP은 정확도-효율성 트레이드오프를 개선합니다. Qwen2.5-Math-7B에서 네 개 벤치마크 모두에 걸쳐 GRPO 대비 추론 토큰을 8%-31% 줄이면서 pass@1을 2.0-3.7 퍼센트포인트 향상시킵니다. 분석에 따르면 이러한 절감은 더 압축된 표현보다는 더 적은 추론 연산과 덜 막다른 추론을 반영함을 시사합니다.
사고의 연쇄(Chain-of-Thought, CoT) 프롬프트는 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰지만, 과도한 추론(over-reasoning), 즉 중복되거나 장황하거나 무관한 단계의 생성으로 인해 상당한 연산 비용이 발생하는 경우가 많다. 기존 추론 단계 평가기는 논리적 오류와 사실 오류를 효과적으로 탐지하지만, 본 분석은 중요한 사각지대를 드러낸다. 바로 토큰 사용량을 늘리면서도 솔루션에 기여하지 않는 유효하지만 비효율적인 추론 단계에 패널티를 부여하지 못한다는 점이다. 이 한계를 체계적으로 진단하기 위해, 순환 추론 및 과도한 분해를 포함한 다섯 가지 유형의 비효율성을 주입한 진단 벤치마크 RIV-GSM8K를 제안한다. 진단 실험 결과, 최신 평가기들이 이러한 비효율성을 필요한 추론과 구별하는 데 어려움을 겪는 것으로 나타났다. 이 격차를 해소하기 위해, 저효용 단계를 식별하는 정보 이론 기반의 학습 불필요 지표인 CAID(Context-Aware Information Density)를 제안한다. 해당 지표의 실용적 유효성을 검증하기 위해 사후 압축 전략인 PACE에 CAID를 적용한다. 추가 통제 실험에서 PACE의 성능 향상이 단순 가지치기로 설명되지 않음을 확인하였다. 무작위 단계 제거 및 PRM 기반 압축 기준선과 비교했을 때, PACE는 훨씬 높은 압축률에서도 정확도를 유지한다. GSM8K, StrategyQA, ARC-Challenge에 대한 실험 결과, PACE는 정확도를 유지하면서 토큰 소비를 31~53% 줄였으며, 이는 CAID가 연역적 유효성을 손상시키지 않고 추론 체인에서 정보적 거품을 성공적으로 제거함을 확인한다.
대규모 언어 모델(LLM)은 사고의 연쇄(CoT) 프롬프팅을 통해 복잡한 추론 과제에서 놀라운 성과를 달성했다. 그러나 이러한 모델들은 종종 "계산적 과잉 사고(computational overthinking)"를 나타내며, 정확도를 향상시키지 못하면서 지연 시간과 비용만 증가시키는 불필요한 추론 단계를 생성한다. 최근 연구들은 CoT 궤적을 상당히 가지치기할 수 있음을 시사하지만, 기존 방법들은 정적인 사고 예산 강제, 휴리스틱 필터링, 분류를 통한 차선적 조기 종료, 또는 비용이 많이 드는 재학습에 의존하는 경우가 많다. 본 논문에서는 사고의 연쇄 가지치기를 최적 정지(optimal stopping) 문제로 정식화하는 경량 플러그인 프레임워크인 OS-Pruner를 소개한다. 주어진 추론 접두 문맥에 대해, OS-Pruner는 최종 답변 정확도와 생성 길이 간의 균형을 맞추는 명시적 유틸리티를 최적화함으로써 추가 추론이 토큰 비용만큼의 가치가 있는지를 학습한다. 본 논문의 새로운 정식화는 모델이 추론 체인의 충분한 종료 시점을 동적으로 평가할 수 있게 한다. OS-Pruner는 학습 및 추론 모두에서 경량으로 설계되었으며, 사용자에게 추론 노력 대 정확도 트레이드오프에 대한 세밀한 제어를 제공한다. 다양한 추론 벤치마크와 기반 모델에서 OS-Pruner는 최소한의 정확도 손실로 생성 길이를 20~60% 감소시킨다.
대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.
복잡한 작업에서 뛰어난 성능을 보이지만, 대규모 추론 모델(LRM)은 종종 지나치게 긴 사고의 연쇄(CoT)를 생성하여 단순한 질의에도 계산 비용을 불필요하게 늘린다. 이러한 비효율을 완화하려는 기존 연구는 일반적으로 이산적 추론 모드나 고정된 예산 계층에 의존하며, 추론이 언제 충분한지에 대한 원칙적 기준을 갖추지 못한다. 본 연구에서는 최소 충분 CoT(MSC)를 제안한다. 이는 정답을 산출하기에 적절한 CoT 궤적의 가장 짧은 접두 문맥으로 정의된다. 실험을 통해 MSC가 추론 토큰을 줄일 뿐 아니라 난이도 수준 전반에서 정확도도 향상시킴을 보인다. MSC를 기반으로, 연속 스펙트럼을 따르는 자율적 추론 제어를 위한 2단계 학습 프레임워크인 충분성 기반 연속 적응형 추론(SuCo)을 제안한다. 1단계에서는 MSC 정렬 미세조정(MFT)을 수행한다. 문제 난이도에 따라 자연스럽게 조절되는 적응형 충분성 임계값으로 MSC 데이터를 구축한 뒤, 모델이 간결하면서도 충분한 추론 패턴을 내재화하도록 미세조정한다. 2단계에서는 충분성 인식 정책 최적화(SAPO)를 통해 강화학습으로 모델을 추가 최적화한다. 동적 복잡도 추적과 과도한 추론과 부족한 추론을 모두 페널티하는 충분성 인식 보상을 사용한다. 수학, 코드, 과학 벤치마크에 걸친 광범위한 실험에서 SuCo는 정확도와 추론 효율 모두에서 일관되게 개선을 달성한다.
대규모 추론 모델(LRM)의 긴 추론 체인 생성으로 인한 지연과 계산 비용 문제를 해결하기 위해, 구조적 중복을 제거하는 CoSMo 프레임워크를 제안한다. 분할-병합 알고리즘과 구조 정렬 강화학습을 통해 정확도를 3.3포인트 향상시키는 동시에 세그먼트 사용량을 평균 28.7% 감소시켜 효율성과 성능의 균형을 달성했다.
최근 대규모 추론 모델(LRM)은 복잡한 작업을 반복적으로 성찰하고, 탐색하고, 실행함으로써 뛰어난 성능 향상을 보여주지만, "과잉 사고(overthinking)"로 알려진 중복 추론으로 인한 비효율을 겪는다. 이 문제를 완화하는 기존 방법들은 정적 난이도 추정에 의존하거나 작업별 학습을 필요로 하므로, 추론 과정 중 동적으로 변하는 복잡도에 적응하지 못한다. 본 연구에서는 문제 난이도가 추론 과정 전반에 걸쳐 동적으로 진화하며 LRM의 단계별 임베딩에 선형적으로 인코딩됨을 실증적으로 보인다. 이 통찰을 바탕으로, 잠재 단계별 표현을 활용해 진화하는 작업 난이도를 명시적으로 모델링하고 추론 깊이를 동적으로 제어하여 과잉 사고 문제를 완화하는 학습 없는(training-free) 프레임워크인 DyCon을 제안한다. 4B부터 32B까지 네 가지 모델과 수학 추론, 일반 질의응답, 코딩 작업에 걸친 열두 개의 벤치마크에서 수행한 광범위한 실험은 DyCon이 정확도나 일반화를 희생하지 않으면서 중복 단계를 줄여 추론 효율을 크게 향상시킴을 보여준다. 프로젝트 페이지와 코드는 https://github.com/yu-lin-li/DyCon 에서 확인할 수 있다.