arXiv:2505.20296 cs.CL

Reasoning LLMs are Wandering Solution Explorers

Jiahao Lu, Ziwei Xu, Mohan Kankanhalli

제출 2025-05-26

한국어 초록

대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought) 프롬프트와 트리 기반 추론과 같은 테스트 시간 계산(TTC) 기법을 통해 인상적인 추론 능력을 보여주었습니다. 그러나 우리는 현재의 추론 대규모 언어 모델(RLLM)이 체계적으로 해결 공간을 탐색하는 능력이 부족하다고 주장합니다. 본 논문은 체계적인 문제 해결의 정의를 공식화하고, 추론 대규모 언어 모델이 체계적인 탐색자가 아닌 방황하는 존재임을 드러내는 일반적인 실패 모드를 식별합니다. 여러 최첨단 LLM에 대한 정성적 및 정량적 분석을 통해 우리는 지속적인 문제를 발견했습니다: 잘못된 추론 단계, 중복 탐색, 환각적이거나 신뢰할 수 없는 결론 등이 있습니다. 우리의 연구 결과는 현재 모델의 성능이 단순한 작업에서는 유능해 보일 수 있지만 복잡성이 증가함에 따라 급격히 저하될 수 있음을 시사합니다. 이러한 발견을 바탕으로 우리는 최종 출력뿐만 아니라 추론 과정 자체의 구조를 평가하는 새로운 지표와 도구의 필요성을 주장합니다.

원문 초록

Large Language Models (LLMs) have demonstrated impressive reasoning abilities through test-time computation (TTC) techniques such as chain-of-thought prompting and tree-based reasoning. However, we argue that current reasoning LLMs (RLLMs) lack the ability to systematically explore the solution space. This paper formalizes what constitutes systematic problem solving and identifies common failure modes that reveal reasoning LLMs to be wanderers rather than systematic explorers. Through qualitative and quantitative analysis across multiple state-of-the-art LLMs, we uncover persistent issues: invalid reasoning steps, redundant explorations, hallucinated or unfaithful conclusions, and so on. Our findings suggest that current models' performance can appear to be competent on simple tasks yet degrade sharply as complexity increases. Based on the findings, we advocate for new metrics and tools that evaluate not just final outputs but the structure of the reasoning process itself.

요약

대규모 언어 모델(LLM)은 체인 오브 사고(Chain-of-Thought) 프롬프트와 트리 기반 추론과 같은 테스트 시간 계산(TTC) 기법을 통해 인상적인 추론 능력을 보여주고 있다. 그러나 현재의 추론 LLM(RLLM)은 체계적으로 해결 공간을 탐색하는 능력이 부족하다고 주장한다. 이 논문은 체계적인 문제 해결의 정의를 공식화하고, 추론 LLM이 체계적인 탐색자가 아닌 방황하는 탐색자임을 드러내는 일반적인 실패 모드를 식별한다. 여러 최신 LLM에 대한 정성적 및 정량적 분석을 통해, 잘못된 추론 단계, 중복 탐색, 환각적이거나 불신적인 결론과 같은 지속적인 문제를 발견하였다. 이러한 결과는 현재 모델의 성능이 간단한 작업에서는 유능해 보일 수 있지만, 복잡성이 증가함에 따라 급격히 저하될 수 있음을 시사한다. 따라서 최종 출력뿐만 아니라 추론 과정의 구조를 평가하는 새로운 메트릭과 도구의 필요성을 주장한다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.