arXiv:2501.13833

On the Reasoning Capacity of AI Models and How to Quantify It

Santosh Kumar Radha, Oktay Goktas

제출 2025-01-23

원문 초록

Recent advances in Large Language Models (LLMs) have intensified the debate surrounding the fundamental nature of their reasoning capabilities. While achieving high performance on benchmarks such as GPQA and MMLU, these models exhibit limitations in more complex reasoning tasks, highlighting the need for more rigorous evaluation methodologies. We propose a novel phenomenological approach that goes beyond traditional accuracy metrics to probe the underlying mechanisms of model behavior, establishing a framework that could broadly impact how we analyze and understand AI systems. Using positional bias in multiple-choice reasoning tasks as a case study, we demonstrate how systematic perturbations can reveal fundamental aspects of model decision-making. To analyze these behaviors, we develop two complementary phenomenological models: a Probabilistic Mixture Model (PMM) that decomposes model responses into reasoning, memorization, and guessing components and an Information-Theoretic Consistency (ITC) analysis that quantifies the relationship between model confidence and strategy selection. Through controlled experiments on reasoning benchmarks, we show that true reasoning remains challenging for current models, with apparent success often relying on sophisticated combinations of memorization and pattern matching rather than genuine logical deduction. More fundamentally, we demonstrate that accuracy alone often overstates a model's reasoning abilities, as model behavior can be characterized through underlying mechanisms in the phase space of cognitive strategies, revealing how models dynamically balance different approaches when responding to queries. This framework enables quantitative criteria for real-world deployments, allowing applications to specify reliability thresholds based on strategy distributions rather than aggregate performance metrics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23836cs.CL공통 태그 Multiple-choice, MMLU

Large Language Models Often Know When They Are Being Evaluated

AI 모델이 자신이 평가받고 있음을 감지할 수 있다면, 평가의 효과성이 저해될 수 있습니다. 예를 들어, 모델이 평가 중에 체계적으로 다른 행동을 보일 수 있어, 배포 및 거버넌스 결정에 활용되는 벤치마크의 신뢰도가 떨어질 수 있습니다. 본 연구에서는 최첨단 언어 모델이 평가에서 생성된 대화록과 실제 배포 환경에서 생성된 대화록을 정확히 분류할 수 있는지, 즉 평가 인식(evaluation awareness) 능력을 조사합니다. 이를 위해 61개의 서로 다른 데이터셋에서 수집한 1,000개의 다양한 프롬프트와 대화록으로 구성된 벤치마크를 구축하였습니다. 이 벤치마크는 공개 벤치마크(e.g., MMLU, SWEBench), 실제 배포 상호작용, 그리고 스캐폴딩 프레임워크(e.g., 웹 브라우징 에이전트)에서의 에이전트 궤적을 포함합니다. 최첨단 모델들은 명확히 무작위 수준을 상회하는 평가 인식 능력을 보여주었으며(Gemini-2.5-Pro는 AUC 0.83 달성), 아직은 단순한 인간 기준선(AUC 0.92)을 능가하지는 못했습니다. 또한, AI 모델과 인간 모두 에이전트 환경에서 채팅 환경보다 평가를 더 잘 식별하는 경향을 보였습니다. 아울러, 다지선다형 및 개방형 질문에서 모델이 평가의 목적을 식별하는 능력도 무작위 추측을 훨씬 능가함을 확인하였습니다. 본 연구 결과는 최첨단 모델들이 이미 상당한 수준의 평가 인식 능력을 보유하고 있으나 아직 초인적 수준은 아님을 시사합니다. 향후 모델 개발 시 이 능력을 지속적으로 추적할 것을 권고합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.