arXiv:2608.31075v1 cs.AI

인간 감독을 넘어 대규모 추론 모델 스케일링: 초지능을 향한 경로

Scaling Large Reasoning Models beyond Human Supervision: A Path toward Superintelligence

Zhiqin Yang, Jingwen Fu, Yuhan Liu, Hengyu Liu, Yonggang Zhang, Kainan Cao, Zizhuo Zhang, Chenxin Li, Ruibin Yuan, Jiahao Pan, Jiankai Sun, Zhenyuan Zhang, Yibo Li, Yunlong Lin, Jing Xiong 외 4명

제출 2026-08-31

한국어 초록

최근 대규모 추reasoning 모델(LRM) 연구는 검증 가능한 보상을 이용한 강화학습(RLVR)이 결과를 자동으로 검증할 수 있는 수학과 코드 분야에서 추론을 크게 향상시킬 수 있음을 보여 주었다. 이러한 성과를 개방형(open-ended) 및 에이전트(agentic) 과제로 확장하는 것은 신뢰할 수 있는 보상을 얻기 어렵고, 직접적인 인간 감독이 모델이 생성한 경험(experience)의 규모와 복잡성을 따라잡지 못하기 때문에 여전히 어렵다. 본 논문은 학습 루프에서 인간 감독이 점차 줄어들면서 LRM이 어떻게 계속 개선될 수 있는지를 연구한다. 우리는 이 문제의 두 가지 연결된 차원을 검토한다. 보상(reward) 축은 사례별 인간 판단에서 재사용 가능한 검증기(verifier)와 인간 피드백 없이도 작동하는 보상으로의 발전을 추적한다. 경험(experience) 축은 학습이 인간이 큐레이션한 과제와 환경에서 자기 생성(self-generated) 커리큘럼, 구성된 환경, 그리고 자율적 공진화(autonomous co-evolution)로 나아갈 수 있는 방식을 살펴본다. 우리는 학습 과정의 어떤 부분이 지속적인 인간 통제 하에 남아 있는지를 식별하는 L0부터 L4까지의 5단계 사다리를 통해 이 차원들을 연결한다. 우리의 분석은 또한 점점 더 자율적인 보상 및 경험 생성이 도입하는 위험, 즉 보상 해킹(reward hacking), 피드백 표류(feedback drift), 커리큘럼 붕괴(curriculum collapse), 환경 오류를 강조한다. 이에 따라 우리는 정책(policy) 역량, 피드백 충실도(feedback fidelity), 경험 품질(experience quality)이라는 세 가지 상보적 대상을 중심으로 한 평가도 제시한다. 이 분석은 인간 감독을 넘어 LRM을 스케일링하는 현재 접근법과 초지능(superintelligence)을 향한 자기 지속(self-sustaining) 학습 시스템 개발에 관련된 미해결 문제에 대한 구조화된 설명을 제공한다. 또한 최신 발전을 추적하기 위해 지속적으로 업데이트되는 \href{https://github.com/visitworld123/Awesome-Scaling-LRM-Beyond-Human-Supervision}{GitHub repository}를 유지한다.

원문 초록

Recent advances in large reasoning models (LRMs) have shown that reinforcement learning with verifiable rewards (RLVR) can substantially improve reasoning in mathematics and code, where outcomes can be checked automatically. Extending this progress to open-ended and agentic tasks remains difficult because reliable rewards are harder to obtain and direct human supervision cannot keep pace with the scale and complexity of model-generated experience. This paper studies how LRMs can continue to improve as human supervision gradually recedes from the learning loop. We examine two connected dimensions of this problem. The reward axis traces the development from per-instance human judgments to reusable verifiers and rewards that operate even without human feedback. The experience axis examines how learning can progress from human-curated tasks and environments toward self-generated curricula, constructed environments, and autonomous co-evolution. We connect these dimensions through a five-level ladder from L0 to L4 that identifies which parts of the learning process remain under continued human control. Our analysis further highlights the risks introduced by increasingly autonomous rewards and experience generation, including reward hacking, feedback drift, curriculum collapse, and environment errors. Consequently, we also provide the evaluation around three complementary objects: policy capability, feedback fidelity, and experience quality. This analysis provides a structured account of current approaches to scaling LRMs beyond human supervision and the open problems involved in developing self-sustaining learning systems toward superintelligence. Furthermore, we maintain a continuously updated \href{https://github.com/visitworld123/Awesome-Scaling-LRM-Beyond-Human-Supervision}{GitHub repository} to track the latest advances.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.31075v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.