구간별 온-정책 증류를 통한 추론 수정 학습
Learning to Revise Reasoning with Segment-wise On-Policy Distillation
온-정책 증류(On-policy distillation, OPD)는 교사(teacher) 모델로부터 밀집된 토큰별(token-wise) 지도 신호를 받아 학생(student) 모델이 자체적으로 생성한 롤아웃(rollout)을 기반으로 학습함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 토큰 단위의 OPD는 학생의 추론 단계를 어떻게 수정하여 이후의 추론을 개선할 수 있는지를 보여주는 일관된 대안적 추론 단계를 명시적으로 제공하지 못합니다. 또한, 학생 모델이 퇴행적인 추론 접두 문맥(prefix)을 생성할 경우, 이후의 교사 지도 역시 해당 접두 문맥에 조건화되어 전달되므로 잘못된 추론 패턴을 강화할 수 있어 이러한 패러다임의 효과가 저하될 수 있습니다. 본 연구에서는 중간 추론 단계를 수정하고 후속 추론을 더 잘 뒷받침할 수 있도록 구간별(segment-wise) OPD를 통한 추론 수정 학습에 주목합니다. 통제된 추론 개입 실험을 통해, 학생의 구간을 교사의 재작성본(redraft)으로 대체하면 후속 추론 정확도가 향상된다는 점을 확인했습니다. 따라서 교사의 재작성본을 추론 수정 학습을 위한 명시적 지도 신호로 전환하는 문제를 다룹니다. 본 논문에서는 불확실성 지표를 기반으로 학생 구간을 선택하고 이에 대응하는 교사의 재작성본을 획득하는 구간별 온-정책 증류(Segment-wise On-Policy Distillation, Seg-OPD)를 제안합니다. Seg-OPD는 밀집된 토큰 단위 OPD 지도 신호를 유지하면서, 학생 모델이 쌍을 이루는 자신의 구간보다 교사의 재작성본을 더 선호하도록 학습시킵니다. 수학적 추론 및 경쟁 프로그래밍 태스크에 대한 광범위한 실험 결과, Seg-OPD로 학습된 학생 모델은 베이스라인 대비 더 높은 수정 성공률을 달성했습니다. Seg-OPD는 다양한 모델과 태스크에 걸쳐 평균 5.22%의 상대적 개선율을 보이며 비교 대상인 최신 베이스라인들보다 일관되게 우수한 추론 정확도를 달성했습니다. 코드는 https://anonymous.4open.science/r/Seg-OPD 에서 이용할 수 있습니다.