arXiv:2505.21765

Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models

Sohyun An, Ruochen Wang, Tianyi Zhou, Cho-Jui Hsieh

제출 2025-05-27

원문 초록

While recent success of large reasoning models (LRMs) significantly advanced LLMs' reasoning capability by optimizing the final answer accuracy using reinforcement learning, they may also drastically increase the output length due to overthinking, characterized by unnecessarily complex reasoning paths that waste computation and potentially degrade the performance. We hypothesize that such inefficiencies stem from LRMs' limited capability to dynamically select the proper modular reasoning strategies, termed thinking patterns at the right position. To investigate this hypothesis, we propose a dynamic optimization framework that segments model-generated reasoning paths into distinct thinking patterns, systematically identifying and promoting beneficial patterns that improve the answer while removing detrimental ones. Empirical analysis confirms that our optimized thinking paths yield more concise yet sufficiently informative trajectories, enhancing reasoning efficiency by reducing attention FLOPs by up to 47% while maintaining accuracy for originally correct responses. Moreover, a non-trivial portion of originally incorrect responses are transformed into correct ones, achieving a 15.6% accuracy improvement with reduced length. Motivated by the improvement brought by the optimized thinking paths, we apply a preference optimization technique supported by a pairwise dataset contrasting suboptimal and optimal reasoning paths. Experimental evaluations across multiple mathematical reasoning benchmarks reveal that our method notably reduces computational overhead while simultaneously improving reasoning accuracy, achieving up to a 12% accuracy improvement and reducing token usage from approximately 5,000 to 3,000 tokens.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.13438v4cs.LG공통 태그 Mathematical Reasoning공식 코드 · Papers with Code

예산 상대 정책 최적화를 통한 애니타임 추론 최적화

Optimizing Anytime Reasoning via Budget Relative Policy Optimization

테스트 시점 연산량을 확장하는 것은 대규모 언어 모델(LLM)의 추론 능력을 향상하는 데 매우 중요하다. 기존 접근법은 일반적으로 강화학습(RL)을 사용하여 추론 과정의 끝에서 얻어지는 검증 가능한 보상을 최대화한다. 그러나 이러한 방법은 크고 고정된 토큰 예산 하에서의 최종 성능만을 최적화하므로 학습과 배포 모두에서 효율성을 저해한다. 본 연구에서는 다양한 토큰 예산 제약 하에서 토큰 효율성과 추론의 유연성을 향상하는 것을 목표로 애니타임 추론 성능을 최적화하는 새로운 프레임워크인 AnytimeReasoner를 제시한다. 이를 위해 우리는 사전 분포에서 샘플링한 토큰 예산에 맞도록 전체 사고 과정을 절단하고, 모델이 각 절단된 사고에 대해 검증을 위한 최적의 답을 요약하도록 한다. 이는 추론 과정에 검증 가능한 밀집 보상을 도입하여 RL 최적화에서 더 효과적인 기여도 할당을 가능하게 한다. 이어서 누적 보상을 최대화하도록 사고 정책과 요약 정책을 분리된 방식으로 최적화한다. 또한 사고 정책을 강화할 때 학습 과정의 견고성과 효율성을 높이기 위해 새로운 분산 감소 기법인 예산 상대 정책 최적화(BRPO)를 도입한다. 수학적 추론 과제에서의 실험 결과는 우리의 방법이 다양한 사전 분포 하의 모든 사고 예산에서 GRPO를 일관되게 능가하며 학습 효율성과 토큰 효율성을 모두 향상함을 보여 준다.

arXiv:2502.15631v2cs.LG공통 태그 Mathematical Reasoning공식 코드 · Papers with Code

대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다

The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer

대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.

arXiv:2505.23851v3cs.CL공통 태그 Mathematical Reasoning공식 코드 · Papers with Code

ASyMOB: 대수적 기호 수학 연산 벤치마크

ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark

대규모 언어 모델(LLM)은 기호 수학(symbolic mathematics) 분야에 점점 더 많이 적용되고 있으나, 기존 평가 방식들은 패턴 암기와 진정한 추론(reasoning)을 혼동하는 경우가 많습니다. 이러한 격차를 해결하기 위해, 우리는 적분, 극한, 미분 방정식, 급수, 및 초기하 함수를 아우르는 검증된 35,368개의 기호 수학 문제로 구성된 고해상도 데이터셋인 ASyMOB를 제시합니다. 기존 벤치마크와 달리, ASyMOB는 기호적, 수치적, 그리고 동등성 보존 변환을 사용하여 각 시드 문제를 체계적으로 변형함으로써, 일반화 능력에 대한 정밀한 평가를 가능하게 합니다. 우리의 평가 결과 세 가지 주요 발견이 드러났습니다: (1) 대부분의 모델은 사소한 변형 하에서도 성능이 급격히 하락하는 반면, 상위 시스템들은 견고성(robustness)에서 명백한 레짐 변화(regime shift)를 보입니다; (2) 통합된 코드 도구는 성능을 안정화시키며, 특히 성능이 낮은 모델에서 그 효과가 두드러집니다; (3) 컴퓨터 대수 시스템(CAS)이 실패하고 LLM이 성공하는 사례와 하이브리드 LLM-CAS 접근 방식을 통해서만 해결되는 문제를 식별하여, 유망한 통합의 가능성을 강조했습니다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI 구축의 진전을 측정하고 가속화하기 위한 원칙에 기반한 진단 도구로서 기능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.