과거를 돌아보며 계획 학습하기: 추론 모델 학습을 위한 사후 계층 구조
Learning to Plan by Looking Back: Hindsight Hierarchies for Training Reasoning Models
우리는 다음 관찰에 기반하여 추론 모델을 위한 자기 개선(self-improvement) 루프를 소개합니다. 문제의 난이도가 모델의 현재 해결 능력을 초과하더라도, 추가로 제공된 풀이를 통해 모델이 사후(hindsight)에 유용한 해결 아이디어를 추출할 수 있습니다. 우리는 문제만으로 해결 아이디어를 예측하기, 문제와 알려진 풀이로부터 아이디어를 역공학(reverse-engineering)하기, 제공된 아이디어를 활용해 문제 해결하기라는 세 가지 능력을 동일한 모델이 갖추도록 공동 학습(joint training)함으로써 이를 구체화합니다. 이 루프는 풀이가 제공된 문제로부터 이러한 아이디어를 역공학하는 과정과, 세 가지 능력 모두에 대한 공동 학습의 추가 지도 신호(supervision)로 이 아이디어들을 활용하는 과정을 번갈아 수행합니다. 우리는 제안하는 방법의 형식적 명세와 함께 Lean 정리 증명기(theorem prover) 기반의 대화형 정리 증명(interactive theorem proving)을 위한 구체적인 인스턴스화를 제시하며, 실증적 평가는 향후 과제로 남겨둡니다.