arXiv:2605.30861 cs.AI

Distilling LLM Feedback for Lean Theorem Proving

제출 2026-05-29

한국어 초록

추론 모델의 사후학습은 일반적으로 지도 파인튜닝과 검증 가능한 보상에 기반한 강화학습을 결합하며, 가장 흔히 GRPO를 사용합니다. 그러나 이 알고리즘은 희소한 보상, 제한된 탐색, 그리고 모드 붕괴 문제를 겪습니다. 최근의 자기 증류 연구를 바탕으로, 우리는 피드백 증류(Feedback Distillation)를 제안합니다. 이는 언어 모델이 생성한 특권적 피드백을 조건으로 한 자신의 분포와 토큰 수준에서 일치하도록 모델을 학습하는 방법입니다. 피드백 증류는 토큰 수준의 지도를 제공하며 외부 지식을 주입할 수 있습니다. Lean4 정리 증명에 대해 이 방법을 평가한 결과, 피드백 증류는 GRPO보다 생성 궤적의 다양성을 더 잘 유지했고, 그 결과 더 높은 정책 엔트로피와 더 나은 pass@k 스케일링을 보였습니다. 두 방법은 상호 보완적입니다. 피드백 증류 체크포인트로 GRPO를 초기화하면 어느 한 방법만 사용할 때보다 더 우수한 성능을 냅니다. 종합하면, 우리의 결과는 복잡한 추론의 사후학습을 개선할 유망한 방향을 시사합니다.

요약

복잡한 추론을 다루는 대규모 언어 모델(large language model, LLM)의 후학습에서, 단순히 정답률을 높이는 것보다 다양한 추론 경로를 안정적으로 유지하는 것이 얼마나 중요한지를 보여 주는 연구가 바로 이 작업입니다. 특히 Lean4 정리 증명처럼 탐색 공간은 넓지만 검증 결과는 명확하게 판정되는 형식 수학(formal mathematics) 환경에서는, 슈퍼바이즈드 파인튜닝(supervised fine-tuning, SFT)과 검증 가능한 보상을 이용한 강화학습(reinforcement learning with verifiable rewards, RLVR), 그중에서도 Group Relative Policy Optimization(GRPO)의 한계가 더 분명하게 드러납니다. 저자들은 GRPO가 희소한 보상, 제한된 탐색, 그리고 모드 붕괴(mode collapse)에 취약하다고 보고, 이러한 문제를 보완하기 위해 Feedback Distillation이라는 새로운 자기 증류(self-distillation) 방식을 제안합니다. 이 방법은 정답 해답 자체를 모방하는 대신, 모델이 생성한 시도와 Lean verifier의 출력을 바탕으로 언어 모델이 생성한 피드백을 토큰 단위로 따라 배우도록 설계되어 있습니다. 다시 말해, 무엇을 정답으로 맞히느냐보다 어떤 증명 경로가 더 유망한지, 어디를 수정해야 하는지에 대한 풍부한 중간 신호를 학습에 직접 주입한다는 점이 핵심입니다. 구체적으로는 학생 정책이 증명 시도 궤적을 생성하면, 교사 역할의 모델이 그 시도에 대한 피드백을 조건으로 새로운 분포를 형성하고, 학생은 그 분포와 토큰 수준에서 일치하도록 학습합니다. 이때 교사와 학생은 동일한 모델 복제본일 수도 있고, 외부의 더 강한 언어 모델을 사용할 수도 있으며, 교사 가중치는 지수이동평균(exponential moving average, EMA)으로 갱신되어 학습 안정성을 높입니다. 또한 전체 어휘에 대한 비용을 줄이기 위해 상위 K개 토큰만 사용하는 근사도 적용하여, 실제 훈련 가능성과 계산 효율을 함께 확보했습니다. 이러한 설계는 궤적 전체에 하나의 보상만 주는 방식과 달리, 각 토큰 위치에서 더 나은 다음 선택을 직접 제시하므로 실패한 증명 경로에서도 유의미한 학습 신호를 얻을 수 있다는 장점이 있습니다. 특히 Lean4처럼 작은 전술 선택의 차이가 전체 증명 성패를 가르는 환경에서는, 이런 세밀한 감독이 단순한 보상 최적화보다 훨씬 실질적인 도움을 줍니다. 실험 결과는 이 아이디어가 실제로 탐색 다양성을 유지하는 데 효과적임을 보여 줍니다. Feedback Distillation은 GRPO보다 더 높은 정책 엔트로피(policy entropy)를 유지하며, 여러 후보를 생성해 검증하는 pass@k 성능에서도 더 좋은 확장성을 보였습니다. 더 중요한 점은 두 방법이 경쟁 관계가 아니라 상호 보완적이라는 사실로, Feedback Distillation으로 먼저 초기화한 뒤 GRPO를 적용하면 어느 한 방법만 사용했을 때보다 더 높은 성능을 얻었습니다. 이는 Feedback Distillation이 좋은 해답을 직접 제공하는 대신, 이후 강화학습이 활용할 수 있는 더 넓고 건강한 탐색 공간을 만들어 주는 역할을 한다는 해석을 가능하게 합니다. 저자들은 또한 피드백의 출처와 형식이 학습 역학을 크게 바꾼다는 점을 분석하며, 정답 자체보다 비평형 피드백이 불확실성 표현과 생성 다양성을 더 잘 보존한다는 점도 확인했습니다. 결국 이 연구는 복잡한 추론 후학습에서 보상 최적화와 더불어, 피드백 기반의 토큰 수준 감독과 다양성 유지가 함께 고려되어야 한다는 점을 설득력 있게 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.