질문에 질문 던지기: 추론 모델의 자기 진화 지속시키기
Questioning the Questions: Sustaining Self-Evolution in Reasoning Models
한국어 초록
자기 진화(self-evolving) 추론 모델은 스스로 생성한 질문으로부터 학습하지만, 반복적인 자기 훈련(self-training)은 성능 붕괴로 이어질 수 있습니다. 본 논문에서는 연속적인 라운드를 거치며 성능이 저하되는 이유와 자기 진화를 지속시키는 방법을 연구합니다. 분석 결과, 자체 생성된 질문에서 반복적으로 나타나는 두 가지 품질 문제를 확인했습니다. 바로 유효하지 않은 질문과 동일한 수학적 질문의 반복적인 변형입니다. 첫째, 라운드가 진행될수록 유효하지 않은 질문이 더 만연해지며, 답변 일관성 기반 필터링은 학습 데이터 내 이러한 질문의 비율을 더욱 증가시킵니다. 둘째, 어휘 유사도에 기반한 기존의 질문 다양성 제어 방식은 다른 방식으로 표현된 수학적으로 동등한 질문을 놓칠 수 있어, 후반부 학습 라운드에서 질문 다양성 붕괴를 초래합니다. 이러한 발견을 바탕으로, 질문 유효성 및 참신성 피드백을 활용하여 자기 진화를 유도하는 R-Quest를 소개합니다. 먼저 해결자(solver)가 유효하지 않은 질문을 인식하고 거부하도록 학습시킨 후, 그 판단 결과를 활용해 질문자(questioner)의 보상을 유도하고 해결자의 학습 데이터를 필터링합니다. 질문 반복을 방지하기 위해, 동결된 베이스 모델을 사용하여 샘플링된 질문 쌍을 비교하고 참신성 피드백을 제공합니다. 실험적으로, 제안하는 방법은 두 가지 모델 계열에 걸쳐 수학적 추론, 일반 영역 추론 및 코드 생성 분야의 12개 벤치마크에서 일관되게 가장 높은 평균 성능을 달성합니다. 또한 R-Quest는 10회의 자기 진화 라운드 동안 안정적인 성능 향상을 유지하여 최종 라운드에서 정점을 찍었으며, R-Zero 대비 17.32점 높은 성능을 기록했습니다.
원문 초록
Self-evolving reasoning models learn from their own generated questions, yet repeated self-training can lead to performance collapse. In this paper, we investigate why performance deteriorates over successive rounds and how to sustain self-evolution. Our analysis identifies two recurring quality problems in self-generated questions: invalid questions and repeated variants of the same mathematical questions. First, invalid questions become more prevalent across rounds, and answer-consistency filtering further increases their proportion in training data. Second, existing question diversity controls based on lexical similarity can miss mathematically equivalent questions expressed in different ways, which leads to question diversity collapse in later training rounds. Building on these findings, we introduce R-Quest, which uses question validity and novelty feedback to guide self-evolution. We first train the solver to recognize and reject invalid questions, then use its judgments to guide questioner rewards and filter solver training data. To avoid question repetition, we use a frozen base model to compare sampled question pairs and provide novelty feedback. Empirically, our method consistently achieves the highest average performance on 12 benchmarks in mathematical reasoning, general-domain reasoning, and code generation across two model families. Additionally, R-Quest maintains stable performance gains over ten rounds of self-evolution, peaking in the final round and outperforming R-Zero by 17.32 points.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.