Meta-Reasoner: Dynamic Guidance for Optimized Inference-time Reasoning in Large Language Models
원문 초록
Large Language Models (LLMs) increasingly rely on prolonged reasoning chains to solve complex tasks. However, this trial-and-error approach often leads to high computational overhead and error propagation, where early mistakes can derail subsequent steps. To address these issues, we introduce Meta-Reasoner, a framework that dynamically optimizes inference-time reasoning by enabling LLMs to "think about how to think." Drawing inspiration from human meta-cognition and dual-process theory, Meta-Reasoner operates as a strategic advisor, decoupling high-level guidance from step-by-step generation. It employs "contextual multi-armed bandits" to iteratively evaluate reasoning progress, and select optimal strategies (e.g., backtrack, clarify ambiguity, restart from scratch, or propose alternative approaches), and reallocates computational resources toward the most promising paths. Our evaluations on mathematical reasoning and puzzles highlight the potential of dynamic reasoning chains to overcome inherent challenges in the LLM reasoning process and also show promise in broader applications, offering a scalable and adaptable solution for reasoning-intensive tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TreeLoRA: 계층적 그래디언트 유사도 트리 기반 층별 LoRA를 활용한 효율적 지속 학습
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
많은 실세계 응용에서는 데이터를 스트리밍 환경에서 수집하며, 학습 태스크가 순차적으로 등장한다. 이는 모델을 온라인으로 갱신하는 지속 학습(CL)을 필요로 하며, 새로운 태스크에 적응하면서 과거 지식을 보존하여 치명적 망각을 방지한다. 최근 대규모 사전학습 모델(LPM)의 성장과 함께, 상당한 계산 요구와 증가하는 매개변수 규모로 인해 CL에서 효율성이 점점 더 중요해졌다. 본 논문에서는 TreeLoRA(K-D Tree of Low-Rank Adapters)를 제안한다. 이는 계층적 그래디언트 유사도를 활용하여 층별 어댑터를 구성하고, 특히 LPM을 위한 효율적인 CL을 가능하게 하는 새로운 접근법이다. 태스크 유사도 추정의 계산 부담을 줄이기 위해, 밴딧(bandit) 기법을 사용하여 하한 신뢰 구간(lower confidence bounds)에 기반한 알고리즘을 개발하고 태스크 구조를 효율적으로 탐색한다. 또한 희소 그래디언트 업데이트를 사용하여 매개변수 최적화를 촉진하고, 이 접근법을 LPM에 더 적합하게 만든다. 접근법의 근거를 정당화하는 이론적 분석을 제공하며, 비전 트랜스포머(ViT)와 대규모 언어 모델(LLM) 모두에 대한 실험을 통해 비전 및 자연어 처리(NLP) 태스크를 포함한 다양한 도메인에서 본 접근법의 효과와 효율성을 입증한다.
ASyMOB: 대수적 기호 수학 연산 벤치마크
ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark
대규모 언어 모델(LLM)은 기호 수학(symbolic mathematics) 분야에 점점 더 많이 적용되고 있으나, 기존 평가 방식들은 패턴 암기와 진정한 추론(reasoning)을 혼동하는 경우가 많습니다. 이러한 격차를 해결하기 위해, 우리는 적분, 극한, 미분 방정식, 급수, 및 초기하 함수를 아우르는 검증된 35,368개의 기호 수학 문제로 구성된 고해상도 데이터셋인 ASyMOB를 제시합니다. 기존 벤치마크와 달리, ASyMOB는 기호적, 수치적, 그리고 동등성 보존 변환을 사용하여 각 시드 문제를 체계적으로 변형함으로써, 일반화 능력에 대한 정밀한 평가를 가능하게 합니다. 우리의 평가 결과 세 가지 주요 발견이 드러났습니다: (1) 대부분의 모델은 사소한 변형 하에서도 성능이 급격히 하락하는 반면, 상위 시스템들은 견고성(robustness)에서 명백한 레짐 변화(regime shift)를 보입니다; (2) 통합된 코드 도구는 성능을 안정화시키며, 특히 성능이 낮은 모델에서 그 효과가 두드러집니다; (3) 컴퓨터 대수 시스템(CAS)이 실패하고 LLM이 성공하는 사례와 하이브리드 LLM-CAS 접근 방식을 통해서만 해결되는 문제를 식별하여, 유망한 통합의 가능성을 강조했습니다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI 구축의 진전을 측정하고 가속화하기 위한 원칙에 기반한 진단 도구로서 기능합니다.
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
Skywork-R1V3 Technical Report
CriticLean: Critic-Guided Reinforcement Learning for Mathematical Formalization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.