arXiv:2610.13481v1 cs.AI

분기형 온-정책 증류

Branching On-Policy Distillation

Dongyang Chen, Shudong Liu, Shubo Li, Duoxun Tang, Jinwei Liang, Zehuan Wu, Lewei Lu

제출 2026-10-09

한국어 초록

온-정책 증류(OPD, On-policy distillation)는 학생 모델이 생성한 궤적에 대해 교사 모델의 지도를 제공하지만, 단일 궤적은 각 결정 시점에서 하나의 연속 생성만을 실현하므로 유한한 샘플링 예산 내에서 지도 범위를 제한합니다. 본 논문에서는 학생 모델의 불확실성과 교사-학생 간 불일치를 활용하여 유익한 결정 지점을 선택하고, 공유된 접두 문맥(prefix)으로부터 학생 정책의 연속 생성을 재샘플링하며, 메인 궤적과 분기 모두에 토큰(token) 수준의 교사 지도를 적용하는 BranchOPD(분기형 온-정책 증류)를 제안합니다. BranchOPD는 수학 분야에서는 토큰 수준 결정에서, 에이전트(agent) 과제에서는 턴 내부 결정에서 동작합니다. 공유된 접두 문맥 재사용은 7개의 독립적인 궤적과 비교했을 때 ALFWorld에서 약 19%, WebShop에서 약 31%만큼 학생이 생성하는 토큰 비용을 절감합니다. 또한 프로토콜 제약 조건 하에서 목표 지향적 지도를 활용하여 반복 및 낭비되는 생성을 완화하는 프로토콜 경계 복구(PBR, protocol-boundary repair)를 도입합니다. BranchOPD는 평가된 모든 벤치마크(benchmark)에서 바닐라 OPD 및 멀티 롤아웃(Multi-Rollout) OPD(n=7)보다 우수한 성능을 보였으며, 16개 샘플링 답변에 대한 평균 수학 정확도(avg@16)에서 18.55%p, 평균 ALFWorld ID/OOD 성공률에서 13.8%p의 성능 향상을 기록했습니다. 메커니즘 분석 및 선택 절제 연구(ablation study)에 따르면, 불확실한 결정 지점에서 분기하는 것이 후속 행동 범위를 확장하며 무작위 선택이나 턴 시작 분기보다 뛰어난 성능을 보임을 확인했습니다.

원문 초록

On-policy distillation (OPD) provides teacher supervision on student-generated trajectories, but a single trajectory realizes only one continuation at each decision, limiting supervision coverage under a finite sampling budget. We propose BranchOPD (Branching On-Policy Distillation), which selects informative decision points using student uncertainty and teacher-student disagreement, resamples student-policy continuations from shared prefixes, and applies token-level teacher supervision to both main trajectories and branches. BranchOPD operates at token-level decisions in mathematics and within-turn decisions in agent tasks. Shared-prefix reuse reduces student-generated token costs by approximately 19% on ALFWorld and 31% on WebShop relative to seven independent trajectories. We also introduce protocol-boundary repair (PBR), which uses targeted supervision under protocol constraints to mitigate repetition and wasted generation. BranchOPD outperforms Vanilla OPD and Multi-Rollout OPD (n=7) across all evaluated benchmarks, with gains over Vanilla OPD of 18.55 percentage points in mean mathematics accuracy over 16 sampled answers (avg@16) and 13.8 points in mean ALFWorld ID/OOD success. Mechanistic analyses and selection ablations show that branching at uncertain decisions expands subsequent behavior coverage and outperforms random selection and turn-initial branching.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13481v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10623v1cs.LG공통 태그 Math, Knowledge Distillation, on-policy distillation

순환적 자기 개선: 루프 언어 모델을 위한 동적 크로스-루프 온-정책 증류

Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models

루프 언어 모델(LoopLM)은 순환 계산 단계 전반에 걸쳐 공유 매개변수(parameter)를 재사용함으로써 추론을 스케일링하는 매개변수 효율적인 접근 방식을 제공합니다. 이러한 유망성에도 불구하고, LoopLM의 효과적인 사후 학습(post-training)은 여전히 어렵습니다. 기존 접근 방식들은 루프 전반으로 확장하기에 희소하거나 비용이 많이 드는 보상(reward) 기반 감독을 제공하거나, 외부 교사 또는 특권 정보에 의존하여 교사의 가용성이 제한되거나 교사-학생 간 문맥 불일치를 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 LoopLM 내의 추가적인 순환 계산을 자체 감독의 원천으로 활용하는 크로스-루프 온-정책(on-policy) 지식 증류(distillation) 프레임워크인 LoopOPD를 소개합니다. LoopOPD는 동결된 최종 루프 정책을 학생 생성 롤아웃에 대한 중간 루프 학생의 계산 특권 교사로 활용하여, 외부 교사나 특권 정보 없이도 조밀한 감독을 제공합니다. 더 나아가 공유 모델 매개변수가 업데이트됨에 따라 최종 루프 교사를 지속적으로 갱신하여 순환적 자기 개선을 가능하게 하는 Dynamic LoopOPD(D-LoopOPD)를 제안합니다. 본 논문에서는 증류 업데이트가 루프 깊이 전반에 걸쳐 어떻게 전파되는지 특성화하고, 단일 업데이트가 두 루프 깊이 모두에서 동시적인 국소 개선을 도출하는 충분조건을 유도합니다. Ouro-Thinking 모델을 대상으로 한 실험에 따르면 LoopOPD는 수학적 추론을 향상시키며, D-LoopOPD는 동적 교사 업데이트를 통해 추가적인 성능 향상을 달성합니다. 수학 데이터로만 학습(training)되었음에도 불구하고, 결과 모델은 일반 추론 및 코드 생성 벤치마크에서도 향상된 성능을 보여 순환 계산이 LoopLM의 효과적인 감독 원천으로 기능할 수 있음을 입증합니다. 코드와 모델 체크포인트는 논문 채택 시 공개될 예정입니다.

arXiv:2610.02359v1cs.LG공통 태그 Math, Knowledge Distillation, on-policy distillation

사전식 다중 목적 온-정책 증류

Lexicographic Multi-Objective On-Policy Distillation

검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.

arXiv:2610.02678v1cs.AI공통 태그 Math, Knowledge Distillation, on-policy distillation

교사 토큰을 필요한 곳에 집중하기: 성공 참조 온-정책 지식 증류

Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation

온-정책(on-policy) 지식 증류(OPD)는 학생이 생성한 롤아웃(rollout)과 교사의 조밀한 토큰 수준 감독을 결합하지만, 모든 롤아웃에 이러한 감독을 제공하려면 상당한 교사 연산량이 요구됩니다. 본 연구에서는 교사의 감독을 받을 프롬프트(prompt)와 롤아웃을 선별함으로써 이러한 비용을 줄이는 성공 참조 온-정책 지식 증류(SR-OPD)를 소개합니다. 동일한 프롬프트에 대해 학생이 성공한 롤아웃과 실패한 롤아웃을 모두 생성할 때, 성공한 롤아웃은 실패한 롤아웃을 선별하는 자연스러운 기준점이 될 수 있습니다. 따라서 SR-OPD는 이러한 프롬프트에 집중하며, 추정된 교사 입력 비용을 고려하는 동시에 성공적인 참조로부터 은닉 상태 궤적(hidden-state trajectory)의 지속적인 발산(divergence)을 보이는 실패 롤아웃을 우선적으로 선택합니다. 3가지 교사-학생 쌍과 6가지 수학적 추론 벤치마크에 걸쳐, SR-OPD는 원-패스(one-pass) 설정에서 바닐라 OPD(Vanilla OPD)가 필요로 하는 교사 입력 토큰의 3.46~5.02%만을 사용하면서도 대등한 추론 성능을 유지합니다. 바닐라 OPD의 교사 입력 예산 5%에 맞춘 통제된 설정에서의 추가 실험은 성공과 실패 롤아웃을 모두 포함하는 프롬프트에 감독을 집중시키는 것과 성공한 롤아웃을 활용해 실패 선별을 유도하는 것 모두의 핵심 설계 선택을 뒷받침합니다. 이러한 결과는 고정된 교사 입력 예산 하에서 교사의 감독을 할당할 때 학생 자신의 성공적인 행동이 유용한 기준점이 될 수 있음을 보여줍니다.

arXiv:2610.02703v1cs.AI공통 태그 Math, Knowledge Distillation, on-policy distillation

구간별 온-정책 증류를 통한 추론 수정 학습

Learning to Revise Reasoning with Segment-wise On-Policy Distillation

온-정책 증류(On-policy distillation, OPD)는 교사(teacher) 모델로부터 밀집된 토큰별(token-wise) 지도 신호를 받아 학생(student) 모델이 자체적으로 생성한 롤아웃(rollout)을 기반으로 학습함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 토큰 단위의 OPD는 학생의 추론 단계를 어떻게 수정하여 이후의 추론을 개선할 수 있는지를 보여주는 일관된 대안적 추론 단계를 명시적으로 제공하지 못합니다. 또한, 학생 모델이 퇴행적인 추론 접두 문맥(prefix)을 생성할 경우, 이후의 교사 지도 역시 해당 접두 문맥에 조건화되어 전달되므로 잘못된 추론 패턴을 강화할 수 있어 이러한 패러다임의 효과가 저하될 수 있습니다. 본 연구에서는 중간 추론 단계를 수정하고 후속 추론을 더 잘 뒷받침할 수 있도록 구간별(segment-wise) OPD를 통한 추론 수정 학습에 주목합니다. 통제된 추론 개입 실험을 통해, 학생의 구간을 교사의 재작성본(redraft)으로 대체하면 후속 추론 정확도가 향상된다는 점을 확인했습니다. 따라서 교사의 재작성본을 추론 수정 학습을 위한 명시적 지도 신호로 전환하는 문제를 다룹니다. 본 논문에서는 불확실성 지표를 기반으로 학생 구간을 선택하고 이에 대응하는 교사의 재작성본을 획득하는 구간별 온-정책 증류(Segment-wise On-Policy Distillation, Seg-OPD)를 제안합니다. Seg-OPD는 밀집된 토큰 단위 OPD 지도 신호를 유지하면서, 학생 모델이 쌍을 이루는 자신의 구간보다 교사의 재작성본을 더 선호하도록 학습시킵니다. 수학적 추론 및 경쟁 프로그래밍 태스크에 대한 광범위한 실험 결과, Seg-OPD로 학습된 학생 모델은 베이스라인 대비 더 높은 수정 성공률을 달성했습니다. Seg-OPD는 다양한 모델과 태스크에 걸쳐 평균 5.22%의 상대적 개선율을 보이며 비교 대상인 최신 베이스라인들보다 일관되게 우수한 추론 정확도를 달성했습니다. 코드는 https://anonymous.4open.science/r/Seg-OPD 에서 이용할 수 있습니다.

arXiv:2609.27869v1cs.AI공통 태그 Decision Making, Knowledge Distillation, on-policy distillation

활성화 대상 학습: 장기 지평 멀티모달 에이전트를 위한 조합적 역량 할당

Learning What to Activate: Combinatorial Capability Allocation for Long-Horizon Multimodal Agents

장기 지평 멀티모달 에이전트는 지각, 검색, 추론, 검증, 실행을 위해 전문화된 역량에 의존한다. 기존 설계는 일반적으로 고정된 역량 집합을 활성화하거나 사전 정의된 워크플로를 호출하여 상당한 계산 오버헤드를 초래하면서 단계 의존적 역량 수요를 수용하지 못한다. 본 논문에서는 장기 지평 멀티모달 에이전트 시스템을 위한 \textit{combinatorial capability allocation} 문제를 연구한다. 여기서 시스템은 각 상호작용 단계마다 비용 민감한 전문 역량의 부분집합을 선택하는데, 역량 가치가 선택된 부분집합에 따라 달라지고 이전 할당이 이후 결정이 마주하는 상태를 바꾸므로 이는 쉽지 않다. 우리는 희소 조건부 비교로부터 배포 가능한 역량-부분집합 정책을 복구하는 온-정책 학습 프레임워크인 \textsc{CoCA}를 제안한다. 학생 정책이 방문한 상태에서, 더 강한 교사는 현재 선택된 부분집합을 조건으로 후보 역량의 한계 순가치를 비교한다. 그다음 조건부 효용 모델을 채택하여 이러한 비교를 자기회귀 역량-부분집합 정책으로 변환하고 명시적 열거를 피한다. 또한 집합 구성 중 마주하는 부분집합 내부와 환경 상태 전반에 걸친 분포 불일치를 다루기 위해 이중 수준 온-정책 지식 증류를 도입한다. 마지막으로 궤적 수준 강화학습으로 증류된 정책을 과제 성공, 활성화 비용, 할당 안정성 방향으로 정제한다. 추론 시에는 교사 질의나 온라인 갱신 없이 경량 학생 정책만으로 할당이 수행된다. 장기 지평 멀티모달 환경과 통제된 역량 수요 변화에 대한 실험은 우리 방법이 최신 기준선 방법들보다 우수함을 보여준다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making, alfworld

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.