과거를 돌아보며 계획 학습하기: 추론 모델 학습을 위한 사후 계층 구조
Learning to Plan by Looking Back: Hindsight Hierarchies for Training Reasoning Models
한국어 초록
우리는 다음 관찰에 기반하여 추론 모델을 위한 자기 개선(self-improvement) 루프를 소개합니다. 문제의 난이도가 모델의 현재 해결 능력을 초과하더라도, 추가로 제공된 풀이를 통해 모델이 사후(hindsight)에 유용한 해결 아이디어를 추출할 수 있습니다. 우리는 문제만으로 해결 아이디어를 예측하기, 문제와 알려진 풀이로부터 아이디어를 역공학(reverse-engineering)하기, 제공된 아이디어를 활용해 문제 해결하기라는 세 가지 능력을 동일한 모델이 갖추도록 공동 학습(joint training)함으로써 이를 구체화합니다. 이 루프는 풀이가 제공된 문제로부터 이러한 아이디어를 역공학하는 과정과, 세 가지 능력 모두에 대한 공동 학습의 추가 지도 신호(supervision)로 이 아이디어들을 활용하는 과정을 번갈아 수행합니다. 우리는 제안하는 방법의 형식적 명세와 함께 Lean 정리 증명기(theorem prover) 기반의 대화형 정리 증명(interactive theorem proving)을 위한 구체적인 인스턴스화를 제시하며, 실증적 평가는 향후 과제로 남겨둡니다.
원문 초록
We introduce a self-improvement loop for reasoning models based on the following observation: Even when the difficulty of a problem exceeds the model's current solving abilities, an additionally supplied solution might enable the model to extract useful solution ideas in hindsight. We operationalize this by jointly training the same model to exhibit the following three capabilities: predicting solution ideas from problems alone, reverse-engineering ideas from problems and known solutions, and solving problems using provided ideas. The loop alternates between reverse engineering such ideas from problems with supplied solutions and using these ideas as additional supervision for joint training of all three capabilities. We give a formal specification of our method and a concrete instantiation for interactive theorem proving in the Lean theorem prover; empirical evaluation remains future work.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
21 Pages, 4 Figures