arXiv:2610.00332v1 cs.LG

가장 취약한 고리: 최악 조건 제약 강화학습을 통한 대규모 언어 모델의 추론 지식 증류

The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning

Matthieu Zimmer, Xiaotong Ji, Tu Nguyen, Haitham Bou-Ammar

제출 2026-09-29

한국어 초록

대규모 언어 모델(LLM)의 추론 능력을 더 작은 학생 모델로 증류(distillation)하는 것은 효율적인 배포를 위한 핵심 과제입니다. 현재의 접근법들은 근본적인 긴장 관계에 직면해 있습니다. 검증 가능한 태스크 보상(예: GRPO를 통한 방식)만을 최적화하면 학생 모델이 결함이 있는 중간 논리를 통해 올바른 최종 답변에 도달하는 보상 해킹(reward hacking)이 발생하며, 교사 모델에 대한 소프트 발산 페널티(예: KL 기반 증류)로 정규화하면 태스크 성능이 희석되고 결정적으로 학생 모델이 한 단계에서의 심각한 논리적 위반을 다른 단계에서의 높은 교사 일치도로 상쇄할 수 있게 됩니다. 우리는 이러한 평균화가 추론의 본질과 근본적으로 어긋난다고 주장합니다. 사고의 연쇄(Chain-of-Thought)는 가장 취약한 고리만큼만 유효하기 때문입니다. 이러한 관찰에 착안하여, 우리는 궤적의 모든 접두 문맥을 따라 교사 로그 가능도(log-likelihood)에 대한 최악 조건 제약 하에서 태스크 보상을 극대화하는 제약 강화학습 문제로 추론 증류를 정형화합니다. 이중 라그랑지안 솔버의 막대한 비용과 Saute와 같은 상태 증강 방식의 테스트 시점 교사 의존성을 피하기 위해, 우리는 하드 제약 의미론을 보존하고 단일 단계 및 장기 항으로의 저분산 정책 그래디언트 분해를 허용하며 페널티 극한에서 거의 확실하게 최악 조건 제약을 증명 가능하게 만족하는 비증강 제약 MDP를 도출합니다. 수학적 추론 및 코드 생성 태스크에 대한 광범위한 실험을 통해, 우리의 방법이 정확도-충실도 파레토 전선을 크게 확장함을 입증합니다. 순수 강화학습의 높은 최종 답변 정확도와 일치하면서도 교사 제약 위반을 대폭 줄임으로써, 궁극적으로 평가된 모든 환경에서 가장 높은 엄밀한 추론 성공률(Reasoning Success Rate)을 달성합니다.

원문 초록

Distilling the reasoning capabilities of large language models (LLMs) into smaller students is a central challenge for efficient deployment. Current approaches face a fundamental tension: optimizing purely for verifiable task rewards (e.g., via GRPO) leads to reward hacking, where students arrive at correct final answers through flawed intermediate logic, while regularizing with soft divergence penalties against a teacher (e.g., KL-based distillation) dilutes task performance and, critically, allows the student to compensate for severe logical violations at one step with high teacher agreement at others. We argue that this averaging is fundamentally misaligned with the nature of reasoning: a chain-of-thought is only as valid as its weakest link. Motivated by this observation, we formulate reasoning distillation as a constrained reinforcement learning problem in which the task reward is maximized subject to a worst-case constraint on the teacher log-likelihood along every prefix of the trajectory. To avoid the prohibitive cost of dual Lagrangian solvers and the test-time teacher dependence of state-augmented methods such as Saute, we derive an unaugmented constrained MDP whose reward transformation preserves the hard-constraint semantics, admits a low-variance policy gradient decomposition into single-step and long-term terms, and provably satisfies the worst-case constraint almost surely in the penalty limit. Through extensive experiments on mathematical reasoning and code generation tasks, we demonstrate that our method significantly expands the accuracy-fidelity Pareto front. By matching the high Final Answer Correctness of pure RL and drastically reducing teacher constraint violations, we ultimately achieve the highest rigorous Reasoning Success Rate across all evaluated settings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00332v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.