HS-STAR: Hierarchical Sampling for Self-Taught Reasoners via Difficulty Estimation and Budget Reallocation
원문 초록
Self-taught reasoners (STaRs) enhance the mathematical reasoning abilities of large language models (LLMs) by leveraging self-generated responses for self-training. Recent studies have incorporated reward models to guide response selection or decoding, aiming to obtain higher-quality data. However, they typically allocate a uniform sampling budget across all problems, overlooking the varying utility of problems at different difficulty levels. In this work, we conduct an empirical study and find that problems near the boundary of the LLM's reasoning capability offer significantly greater learning utility than both easy and overly difficult ones. To identify and exploit such problems, we propose HS-STaR, a Hierarchical Sampling framework for Self-Taught Reasoners. Given a fixed sampling budget, HS-STaR first performs lightweight pre-sampling with a reward-guided difficulty estimation strategy to efficiently identify boundary-level problems. Subsequently, it dynamically reallocates the remaining budget toward these high-utility problems during a re-sampling phase, maximizing the generation of valuable training data. Extensive experiments across multiple reasoning benchmarks and backbone LLMs demonstrate that HS-STaR significantly outperforms other baselines without requiring additional sampling budget.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
예산 상대 정책 최적화를 통한 애니타임 추론 최적화
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
테스트 시점 연산량을 확장하는 것은 대규모 언어 모델(LLM)의 추론 능력을 향상하는 데 매우 중요하다. 기존 접근법은 일반적으로 강화학습(RL)을 사용하여 추론 과정의 끝에서 얻어지는 검증 가능한 보상을 최대화한다. 그러나 이러한 방법은 크고 고정된 토큰 예산 하에서의 최종 성능만을 최적화하므로 학습과 배포 모두에서 효율성을 저해한다. 본 연구에서는 다양한 토큰 예산 제약 하에서 토큰 효율성과 추론의 유연성을 향상하는 것을 목표로 애니타임 추론 성능을 최적화하는 새로운 프레임워크인 AnytimeReasoner를 제시한다. 이를 위해 우리는 사전 분포에서 샘플링한 토큰 예산에 맞도록 전체 사고 과정을 절단하고, 모델이 각 절단된 사고에 대해 검증을 위한 최적의 답을 요약하도록 한다. 이는 추론 과정에 검증 가능한 밀집 보상을 도입하여 RL 최적화에서 더 효과적인 기여도 할당을 가능하게 한다. 이어서 누적 보상을 최대화하도록 사고 정책과 요약 정책을 분리된 방식으로 최적화한다. 또한 사고 정책을 강화할 때 학습 과정의 견고성과 효율성을 높이기 위해 새로운 분산 감소 기법인 예산 상대 정책 최적화(BRPO)를 도입한다. 수학적 추론 과제에서의 실험 결과는 우리의 방법이 다양한 사전 분포 하의 모든 사고 예산에서 GRPO를 일관되게 능가하며 학습 효율성과 토큰 효율성을 모두 향상함을 보여 준다.
대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다
The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer
대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.
ASyMOB: 대수적 기호 수학 연산 벤치마크
ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark
대규모 언어 모델(LLM)은 기호 수학(symbolic mathematics) 분야에 점점 더 많이 적용되고 있으나, 기존 평가 방식들은 패턴 암기와 진정한 추론(reasoning)을 혼동하는 경우가 많습니다. 이러한 격차를 해결하기 위해, 우리는 적분, 극한, 미분 방정식, 급수, 및 초기하 함수를 아우르는 검증된 35,368개의 기호 수학 문제로 구성된 고해상도 데이터셋인 ASyMOB를 제시합니다. 기존 벤치마크와 달리, ASyMOB는 기호적, 수치적, 그리고 동등성 보존 변환을 사용하여 각 시드 문제를 체계적으로 변형함으로써, 일반화 능력에 대한 정밀한 평가를 가능하게 합니다. 우리의 평가 결과 세 가지 주요 발견이 드러났습니다: (1) 대부분의 모델은 사소한 변형 하에서도 성능이 급격히 하락하는 반면, 상위 시스템들은 견고성(robustness)에서 명백한 레짐 변화(regime shift)를 보입니다; (2) 통합된 코드 도구는 성능을 안정화시키며, 특히 성능이 낮은 모델에서 그 효과가 두드러집니다; (3) 컴퓨터 대수 시스템(CAS)이 실패하고 LLM이 성공하는 사례와 하이브리드 LLM-CAS 접근 방식을 통해서만 해결되는 문제를 식별하여, 유망한 통합의 가능성을 강조했습니다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI 구축의 진전을 측정하고 가속화하기 위한 원칙에 기반한 진단 도구로서 기능합니다.
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
Skywork-R1V3 Technical Report
토론
이 논문과 연결된 포럼 글이 아직 없습니다.