PowerOPD: 유계 거듭제곱 변환을 통한 온-정책 증류의 안정화
PowerOPD: Stabilizing On-Policy Distillation with Bounded Power Transformation
한국어 초록
대규모 언어 모델(LLM)을 위한 표준 온-정책 증류(OPD)는 학생 모델이 샘플링한 토큰을 사용하여 역-KL(reverse-KL) 목적함수를 추정하며, 이는 전체 어휘에 대한 계산을 피하는 불편한 단일 샘플 몬테카를로 추정기를 제공합니다. 그러나 우리는 이 추정기가 실제로 심각한 학습(training) 병리 현상을 겪는다는 것을 보여줍니다: 샘플 비효율성, 불안정한 생성 동역학, 그리고 정확한 전체 어휘 OPD에 비해 상당한 성능 격차가 발생합니다. 보상(reward) 수준 진단은 이러한 병리 현상을 로그 비율(log-ratio) 보상으로 추적합니다. 이는 구조적으로 유계가 없어 초기 위치에 집중되고 학습(training) 내내 지속되는 매우 높은 분산의 그래디언트(gradient)를 생성합니다. 표준 사후(post-hoc) 스케일링은 왜곡이 발생한 후에만 작동하므로 실패합니다. 이 문제를 해결하기 위해 우리는 PowerOPD를 제안합니다: 이는 alpha > 0로 매개변수화된 Box-Cox 거듭제곱 변환에서 파생된 본질적으로 유계가 있고 부호 일관적인 보상(reward) 계열이며, 여기서 로그 비율은 퇴화적인 alpha -> 0 극한입니다. 6개의 수학적 추론 벤치마크와 4개의 Qwen3 교사-학생 쌍에 걸쳐, PowerOPD는 바닐라 OPD 대비 최대 +6.37/+5.71의 벤치마크 평균 Avg@8/Pass@8 향상을 달성했으며, 사후 안정화 대비 +3.01/+3.54, 전체 어휘 OPD 대비 +2.59/+8.90의 향상을 달성하는 동시에 실제 경과 시간(wall-clock time)을 59.2%, 최대 GPU 메모리를 23.1% 감소시켰습니다. 더 큰 alpha는 일반적으로 정확도를 향상시키고, 응답을 일관되게 단축시키며, 그래디언트(gradient) 노름을 바닐라 OPD보다 3,000배 이상 작게 유지합니다.
원문 초록
Standard on-policy distillation (OPD) for large language models estimates the reverse-KL objective using student-sampled tokens, yielding an unbiased single-sample Monte Carlo estimator that avoids vocabulary-wide computation. However, we show that this estimator suffers from severe training pathologies in practice: sample inefficiency, unstable generation dynamics, and a substantial performance gap compared to exact full-vocabulary OPD. Reward-level diagnosis traces these pathologies to the log-ratio reward, which is unbounded by construction, producing extremely high-variance gradients concentrated at early positions and persisting throughout training; standard post-hoc scaling fail as they operate only after this distortion occurs. To solve this problem, we propose PowerOPD: a family of natively bounded, sign-consistent rewards from the Box-Cox power transformation, parameterized by alpha > 0, of which the log-ratio is the degenerate alpha -> 0 limit. Across six mathematical reasoning benchmarks and four Qwen3 teacher-student pairs, PowerOPD achieves benchmark-averaged Avg@8/Pass@8 gains of up to +6.37/+5.71 over vanilla OPD, +3.01/+3.54 over post-hoc stabilization, and +2.59/+8.90 over full-vocabulary OPD, while reducing wall-clock time by 59.2% and peak GPU memory by 23.1%. Larger alpha generally improves accuracy, consistently shortens responses, and keeps gradient norms more than 3,000x smaller than vanilla OPD.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17199v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.
MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습
MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.
점수만 매기는 특권적 교사는 탐색할 수 없다: 추론을 위한 비평 조건부 온-정책 자기 증류
A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
온-정책(on-policy) 자기 증류는 검증 가능한 보상(verifiable-reward) 기반 강화학습의 희소한 결과 신호를 토큰 단위의 조밀한 크레딧으로 대체할 것을 약속한다: 참조 해답에 조건화된 교사가 학생 자신의 롤아웃(rollout)을 채점하고, 그 결과로 나타나는 분포 변화가 다시 정책으로 증류된다. 우리는 이 채점 신호가 실제로 교정적 크레딧을 담고 있는지 조사한다. 학생 롤아웃 내의 정답(gold) 오류 구간을 이용하여, 자기 증류 목적함수가 사용하는 두 가지 신호, 즉 전체 분포 KL과 토큰 로그 비율(log-ratio)이 두 가지 속성, 즉 오류를 지역화(localize)하는지 여부와 학생의 오류 토큰으로부터 확률을 밀어내는지 여부를 테스트한다. 두 신호 모두 이러한 속성을 전혀 보이지 않으며, 동일한 문제 내에서 올바른 롤아웃과 잘못된 롤아웃을 신뢰성 있게 구분하지도 못한다. 우리는 이러한 실패가 구조적이라고 주장한다: 추론 과정(reasoning trace)에서 오류를 찾아내는 것 자체가 하나의 탐색(search) 문제인 반면, 채점을 수행하는 교사는 명시적으로 그러한 탐색을 수행하도록 요구받지 않는다. 동일한 모델이 동일한 특권 정보를 가지고도, 비평(critique)을 생성하도록 허용되었을 때는 오류를 훨씬 더 잘 지역화한다. 이는 \emph{비평 조건부 자기 증류(critique-conditioned self-distillation)}의 동기가 된다: 먼저 현재 롤아웃에 대한 비평을 생성한 다음, 그 비평에 채점 교사를 조건화하는 것이다. 그 결과로 나오는 신호는 오류를 지역화하고, 오류 구간 내에서 교정적이며, "Wait", "But", "Actually"와 같이 역추적(backtracking)을 시작하는 토큰 쪽으로 확률을 이동시킨다. 우리는 나아가 이 비평이 테스트 시점(test time)과 콜드 스타트(cold-start) GRPO 양쪽 모두에서 유용함을 보인다: 테스트 시점에서는 비평을 맥락에 포함한 채 잘못된 롤아웃을 재개하는 것이 샘플링만으로는 풀 수 없었던 수학 문제를 풀 수 있게 만들며, 콜드 스타트 GRPO에서는 검증 가능한 보상만으로는 전혀 이점 신호를 제공하지 못하는 프롬프트에 대해 이점(advantage) 신호를 제공한다.
LEAP: LLM 에이전트를 위한 효율적인 행동 제안 학습
LEAP: Learning Efficient Action Proposals For LLM Agents
대규모 언어 모델(LLM) 에이전트는 롤아웃(rollout) 과정이 느린 것으로 알려져 있습니다. 에이전트는 한 번에 한 단계씩 작업을 완료합니다. 각 단계에서 에이전트는 추론을 수행한 후 실행할 행동을 선택합니다. 다음 단계와 행동은 이전 단계가 끝날 때까지 시작될 수 없습니다. 추측 디코딩(speculative decoding)은 추론 토큰을 초안 작성(drafting)하고 검증함으로써 추론 단계에서의 롤아웃 속도를 가속합니다. 최근 연구들에서는 행동 단계에도 유사한 아이디어를 적용하기 시작했습니다. 이러한 연구들은 타깃 모델(target model)이 검증할 수 있도록 행동 제안 초안을 작성하기 위해 기존에 구축된 상용 모델(off-the-shelf model), 주로 대형 모델을 사용합니다. 대형 초안 모델은 타깃과 더 자주 일치하지만 제안을 작성하는 데 더 오랜 시간이 걸리는 반면, 소형 상용 모델은 빠르지만 타깃과 동일한 결정을 내리는 경우가 드뭅니다. 본 논문에서는 더 일반적인 질문을 던집니다. 행동 추측의 엔드투엔드(end-to-end) 가속을 결정하는 요인은 무엇인가? 이에 답하기 위해, 본 연구에서는 추측 라운드에 대한 지연 시간(latency) 프레임워크를 개발합니다. 이 프레임워크는 한 라운드에서 얻는 이득과 소요되는 비용을 비교합니다. 이득은 초안 모델이 타깃을 얼마나 잘 예측하는지, 그리고 작업이 종료되기까지 얼마나 많은 단계를 거칠 수 있는지에 따라 달라집니다. 비용은 초안 작성, 타깃의 검증 대기 시간, 도구 실행에서 발생합니다. 이 프레임워크를 바탕으로, 본 연구에서는 초안 모델의 크기를 작게 유지하면서 타깃의 행동 시퀀스로 학습(training)시켜 정확도를 높이는 LEAP(Learning Efficient Action Proposals)을 소개합니다. 0.6B 크기의 소형 모델을 사용하는 LEAP은 대부분의 결정에서 타깃과 일치하며, 작업 성공률의 체계적인 변화 없이 에이전트의 엔드투엔드 실제 소요 시간(wall clock time)을 최대 60% 단축합니다. 다양한 데이터셋, 타깃 모델 및 초안 모델에 걸쳐 본 프레임워크는 측정된 속도 향상의 대부분을 설명합니다. 또한 사전 트레이스 수집 없이도 초안 모델을 온라인 학습할 수 있으며 오프라인 학습의 성능과 일치함을 입증하여, LEAP이 실제 환경에 배포하기에 실용적임을 보여줍니다.
교사 토큰을 필요한 곳에 집중하기: 성공 참조 온-정책 지식 증류
Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation
온-정책(on-policy) 지식 증류(OPD)는 학생이 생성한 롤아웃(rollout)과 교사의 조밀한 토큰 수준 감독을 결합하지만, 모든 롤아웃에 이러한 감독을 제공하려면 상당한 교사 연산량이 요구됩니다. 본 연구에서는 교사의 감독을 받을 프롬프트(prompt)와 롤아웃을 선별함으로써 이러한 비용을 줄이는 성공 참조 온-정책 지식 증류(SR-OPD)를 소개합니다. 동일한 프롬프트에 대해 학생이 성공한 롤아웃과 실패한 롤아웃을 모두 생성할 때, 성공한 롤아웃은 실패한 롤아웃을 선별하는 자연스러운 기준점이 될 수 있습니다. 따라서 SR-OPD는 이러한 프롬프트에 집중하며, 추정된 교사 입력 비용을 고려하는 동시에 성공적인 참조로부터 은닉 상태 궤적(hidden-state trajectory)의 지속적인 발산(divergence)을 보이는 실패 롤아웃을 우선적으로 선택합니다. 3가지 교사-학생 쌍과 6가지 수학적 추론 벤치마크에 걸쳐, SR-OPD는 원-패스(one-pass) 설정에서 바닐라 OPD(Vanilla OPD)가 필요로 하는 교사 입력 토큰의 3.46~5.02%만을 사용하면서도 대등한 추론 성능을 유지합니다. 바닐라 OPD의 교사 입력 예산 5%에 맞춘 통제된 설정에서의 추가 실험은 성공과 실패 롤아웃을 모두 포함하는 프롬프트에 감독을 집중시키는 것과 성공한 롤아웃을 활용해 실패 선별을 유도하는 것 모두의 핵심 설계 선택을 뒷받침합니다. 이러한 결과는 고정된 교사 입력 예산 하에서 교사의 감독을 할당할 때 학생 자신의 성공적인 행동이 유용한 기준점이 될 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.