한국어 초록
대규모 언어 모델(LLM)이 자율적으로 학습을 수행해 대상 모델을 개선하는 능력은 재귀적 자기 개선(RSI)의 중요한 기반이다. LLM의 역할이 학습을 받는 쪽에서 학습을 수행하는 쪽으로 확대되면서, 모델 학습을 수행하는 능력을 별도로 연구하고 체계적으로 개발할 필요가 있다. 이를 위해 모델 학습 능력을 개선하는 데이터셋 RSI-Prime을 구축했다. 7개 과제 범주에서 실험 과정 전체를 담은 궤적 350개로 구성된다. LLM이 학습 실습에서 더 나은 실험 결정을 내리는 법을 배울 수 있도록 결정 지점을 세밀하게 식별하고 품질에 주석을 달았다. 그런 다음 개별 결정의 손실에 마스크를 적용해 품질이 낮은 행동은 지도 신호에서 제외했다. 자율 사후 학습용 벤치마크 PostTrainBench에서 GLM-5.3을 실험한 결과, RSI-Prime으로 학습한 모델은 원래 GLM-5.3보다 종합 성능이 상대적으로 31.95% 높았다. 이는 모델이 자체 개선을 지속적으로 수행하는 미래의 RSI 시스템으로 나아갈 가능성을 보여 준다.
원문 초록
Enabling large language models (LLMs) to autonomously conduct training and improve target models is an important foundation for recursive self-improvement (RSI). As LLMs expand their role from being trained to conducting training, their model-training capability warrants dedicated study and systematic development. To this end, we construct RSI-Prime, a dataset for improving model-training capability, comprising 350 complete experimental trajectories across seven task categories. To help LLMs learn to make high-quality experimental decisions from training practice, we perform fine-grained decision identification and quality annotation, then apply decision-level loss masking to exclude supervision on low-quality behavior. Experiments with GLM-5.3 on PostTrainBench, a benchmark for autonomous post-training, show that training on RSI-Prime yields a 31.95% relative improvement in overall performance over the original GLM-5.3, highlighting a path toward future RSI systems in which models autonomously sustain their own advancement.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23138v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.