구간별 온-정책 증류를 통한 추론 수정 학습
Learning to Revise Reasoning with Segment-wise On-Policy Distillation
한국어 초록
온-정책 증류(On-policy distillation, OPD)는 교사(teacher) 모델로부터 밀집된 토큰별(token-wise) 지도 신호를 받아 학생(student) 모델이 자체적으로 생성한 롤아웃(rollout)을 기반으로 학습함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 토큰 단위의 OPD는 학생의 추론 단계를 어떻게 수정하여 이후의 추론을 개선할 수 있는지를 보여주는 일관된 대안적 추론 단계를 명시적으로 제공하지 못합니다. 또한, 학생 모델이 퇴행적인 추론 접두 문맥(prefix)을 생성할 경우, 이후의 교사 지도 역시 해당 접두 문맥에 조건화되어 전달되므로 잘못된 추론 패턴을 강화할 수 있어 이러한 패러다임의 효과가 저하될 수 있습니다. 본 연구에서는 중간 추론 단계를 수정하고 후속 추론을 더 잘 뒷받침할 수 있도록 구간별(segment-wise) OPD를 통한 추론 수정 학습에 주목합니다. 통제된 추론 개입 실험을 통해, 학생의 구간을 교사의 재작성본(redraft)으로 대체하면 후속 추론 정확도가 향상된다는 점을 확인했습니다. 따라서 교사의 재작성본을 추론 수정 학습을 위한 명시적 지도 신호로 전환하는 문제를 다룹니다. 본 논문에서는 불확실성 지표를 기반으로 학생 구간을 선택하고 이에 대응하는 교사의 재작성본을 획득하는 구간별 온-정책 증류(Segment-wise On-Policy Distillation, Seg-OPD)를 제안합니다. Seg-OPD는 밀집된 토큰 단위 OPD 지도 신호를 유지하면서, 학생 모델이 쌍을 이루는 자신의 구간보다 교사의 재작성본을 더 선호하도록 학습시킵니다. 수학적 추론 및 경쟁 프로그래밍 태스크에 대한 광범위한 실험 결과, Seg-OPD로 학습된 학생 모델은 베이스라인 대비 더 높은 수정 성공률을 달성했습니다. Seg-OPD는 다양한 모델과 태스크에 걸쳐 평균 5.22%의 상대적 개선율을 보이며 비교 대상인 최신 베이스라인들보다 일관되게 우수한 추론 정확도를 달성했습니다. 코드는 https://anonymous.4open.science/r/Seg-OPD 에서 이용할 수 있습니다.
원문 초록
On-policy distillation (OPD) improves large language model reasoning by training students on their own rollouts with dense token-wise supervision from the teacher. However, token-wise OPD does not explicitly provide a coherent alternative reasoning step showing how the student's step could be revised to improve subsequent reasoning. Furthermore, this paradigm can become less effective when the student produces a degenerate reasoning prefix, as subsequent teacher supervision remains conditioned on that prefix and may reinforce poor reasoning patterns. In this work, we focus on learning reasoning revision with segment-wise OPD to rework intermediate reasoning steps and better support subsequent reasoning. Through controlled reasoning interventions, we find that replacing student segments with teacher redrafts improves subsequent reasoning accuracy. Therefore, we address the problem of turning teacher redrafts into explicit supervision for learning to revise reasoning. We propose Segment-wise On-Policy Distillation (Seg-OPD), which selects student segments based on an uncertainty metric and obtains corresponding teacher redrafts. Seg-OPD trains the student to prefer teacher redrafts over their paired student segments while retaining dense token-wise OPD supervision. Extensive experiments on mathematical reasoning and competitive programming tasks show that Seg-OPD-trained students achieve higher revision success rates than baselines. Seg-OPD consistently outperforms the compared state-of-the-art baselines in reasoning accuracy with an average relative improvement of 5.22% across diverse models and tasks. Code is available at https://anonymous.4open.science/r/Seg-OPD.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
순환적 자기 개선: 루프 언어 모델을 위한 동적 크로스-루프 온-정책 증류
Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models
루프 언어 모델(LoopLM)은 순환 계산 단계 전반에 걸쳐 공유 매개변수(parameter)를 재사용함으로써 추론을 스케일링하는 매개변수 효율적인 접근 방식을 제공합니다. 이러한 유망성에도 불구하고, LoopLM의 효과적인 사후 학습(post-training)은 여전히 어렵습니다. 기존 접근 방식들은 루프 전반으로 확장하기에 희소하거나 비용이 많이 드는 보상(reward) 기반 감독을 제공하거나, 외부 교사 또는 특권 정보에 의존하여 교사의 가용성이 제한되거나 교사-학생 간 문맥 불일치를 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 LoopLM 내의 추가적인 순환 계산을 자체 감독의 원천으로 활용하는 크로스-루프 온-정책(on-policy) 지식 증류(distillation) 프레임워크인 LoopOPD를 소개합니다. LoopOPD는 동결된 최종 루프 정책을 학생 생성 롤아웃에 대한 중간 루프 학생의 계산 특권 교사로 활용하여, 외부 교사나 특권 정보 없이도 조밀한 감독을 제공합니다. 더 나아가 공유 모델 매개변수가 업데이트됨에 따라 최종 루프 교사를 지속적으로 갱신하여 순환적 자기 개선을 가능하게 하는 Dynamic LoopOPD(D-LoopOPD)를 제안합니다. 본 논문에서는 증류 업데이트가 루프 깊이 전반에 걸쳐 어떻게 전파되는지 특성화하고, 단일 업데이트가 두 루프 깊이 모두에서 동시적인 국소 개선을 도출하는 충분조건을 유도합니다. Ouro-Thinking 모델을 대상으로 한 실험에 따르면 LoopOPD는 수학적 추론을 향상시키며, D-LoopOPD는 동적 교사 업데이트를 통해 추가적인 성능 향상을 달성합니다. 수학 데이터로만 학습(training)되었음에도 불구하고, 결과 모델은 일반 추론 및 코드 생성 벤치마크에서도 향상된 성능을 보여 순환 계산이 LoopLM의 효과적인 감독 원천으로 기능할 수 있음을 입증합니다. 코드와 모델 체크포인트는 논문 채택 시 공개될 예정입니다.
분기형 온-정책 증류
Branching On-Policy Distillation
온-정책 증류(OPD, On-policy distillation)는 학생 모델이 생성한 궤적에 대해 교사 모델의 지도를 제공하지만, 단일 궤적은 각 결정 시점에서 하나의 연속 생성만을 실현하므로 유한한 샘플링 예산 내에서 지도 범위를 제한합니다. 본 논문에서는 학생 모델의 불확실성과 교사-학생 간 불일치를 활용하여 유익한 결정 지점을 선택하고, 공유된 접두 문맥(prefix)으로부터 학생 정책의 연속 생성을 재샘플링하며, 메인 궤적과 분기 모두에 토큰(token) 수준의 교사 지도를 적용하는 BranchOPD(분기형 온-정책 증류)를 제안합니다. BranchOPD는 수학 분야에서는 토큰 수준 결정에서, 에이전트(agent) 과제에서는 턴 내부 결정에서 동작합니다. 공유된 접두 문맥 재사용은 7개의 독립적인 궤적과 비교했을 때 ALFWorld에서 약 19%, WebShop에서 약 31%만큼 학생이 생성하는 토큰 비용을 절감합니다. 또한 프로토콜 제약 조건 하에서 목표 지향적 지도를 활용하여 반복 및 낭비되는 생성을 완화하는 프로토콜 경계 복구(PBR, protocol-boundary repair)를 도입합니다. BranchOPD는 평가된 모든 벤치마크(benchmark)에서 바닐라 OPD 및 멀티 롤아웃(Multi-Rollout) OPD(n=7)보다 우수한 성능을 보였으며, 16개 샘플링 답변에 대한 평균 수학 정확도(avg@16)에서 18.55%p, 평균 ALFWorld ID/OOD 성공률에서 13.8%p의 성능 향상을 기록했습니다. 메커니즘 분석 및 선택 절제 연구(ablation study)에 따르면, 불확실한 결정 지점에서 분기하는 것이 후속 행동 범위를 확장하며 무작위 선택이나 턴 시작 분기보다 뛰어난 성능을 보임을 확인했습니다.
사전식 다중 목적 온-정책 증류
Lexicographic Multi-Objective On-Policy Distillation
검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.
교사 토큰을 필요한 곳에 집중하기: 성공 참조 온-정책 지식 증류
Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation
온-정책(on-policy) 지식 증류(OPD)는 학생이 생성한 롤아웃(rollout)과 교사의 조밀한 토큰 수준 감독을 결합하지만, 모든 롤아웃에 이러한 감독을 제공하려면 상당한 교사 연산량이 요구됩니다. 본 연구에서는 교사의 감독을 받을 프롬프트(prompt)와 롤아웃을 선별함으로써 이러한 비용을 줄이는 성공 참조 온-정책 지식 증류(SR-OPD)를 소개합니다. 동일한 프롬프트에 대해 학생이 성공한 롤아웃과 실패한 롤아웃을 모두 생성할 때, 성공한 롤아웃은 실패한 롤아웃을 선별하는 자연스러운 기준점이 될 수 있습니다. 따라서 SR-OPD는 이러한 프롬프트에 집중하며, 추정된 교사 입력 비용을 고려하는 동시에 성공적인 참조로부터 은닉 상태 궤적(hidden-state trajectory)의 지속적인 발산(divergence)을 보이는 실패 롤아웃을 우선적으로 선택합니다. 3가지 교사-학생 쌍과 6가지 수학적 추론 벤치마크에 걸쳐, SR-OPD는 원-패스(one-pass) 설정에서 바닐라 OPD(Vanilla OPD)가 필요로 하는 교사 입력 토큰의 3.46~5.02%만을 사용하면서도 대등한 추론 성능을 유지합니다. 바닐라 OPD의 교사 입력 예산 5%에 맞춘 통제된 설정에서의 추가 실험은 성공과 실패 롤아웃을 모두 포함하는 프롬프트에 감독을 집중시키는 것과 성공한 롤아웃을 활용해 실패 선별을 유도하는 것 모두의 핵심 설계 선택을 뒷받침합니다. 이러한 결과는 고정된 교사 입력 예산 하에서 교사의 감독을 할당할 때 학생 자신의 성공적인 행동이 유용한 기준점이 될 수 있음을 보여줍니다.
온-정책 증류에서 프롬프트 폭과 롤아웃 갱신의 상호작용
Prompt Breadth and Rollout Refresh Interact in On-Policy Distillation
온-정책 증류(on-policy distillation, OPD)에는 얼마나 많은 프롬프트가 필요하며, 그 답은 학습 응답을 생성하는 학생 정책에 따라 어떻게 달라지는가? 본 연구는 프롬프트 폭(prompt breadth)과 롤아웃 갱신(rollout refresh)이라는 두 가지 제어 요소를 함께 연구한다. 3x3 수학적 추론 실험은 14,080개의 궤적(trajectory)과 110회의 옵티마이저 업데이트를 고정한 채, 프롬프트 뱅크와 응답을 생성하는 정책 스냅샷의 수를 달리한다. 스냅샷이 10개일 때, 8개의 프롬프트로 평균 정확도 24.09%에 도달하며, 이는 14,080개의 서로 다른 프롬프트를 사용했을 때의 24.51%에 근접한 수치이다. 그러나 응답을 초기 정책에 고정한 경우에는 프롬프트 폭을 늘리면 정확도가 21.16%에서 19.05%로 낮아지는 반면, 업데이트마다 갱신하는 경우에는 정확도가 23.61%에서 25.57%로 높아진다. 그 결과로 나타나는 상호작용은 4.07%p이며, 질문 단위로 짝지은(question-paired) 95% 구간은 [2.00, 6.28]이다. 두 교사 모델(teacher)에서 매칭된 비교를 수행하면 두 번째 역전 현상이 드러난다. 주기적으로 갱신한 모델은 짧은 예산에서 더 높은 정확도와 답변 완결률을 보이지만, 32K 출력 제한에서는 응답 토큰을 1.7~1.8배 더 사용하는 응답 고정 모델이 평균 정확도에서 앞선다. 이러한 결과는 OPD에서 프롬프트 효율성이 갱신 방식과 추론 예산 모두에 의존할 수 있음을 보여준다.
도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.