진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구
Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation
온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.