arXiv:2611.22298v1 cs.AI

스트리밍 온-정책 증류: 단계별 지도 신호 사용을 위한 세 가지 시간 단위 분리

Streaming On-Policy Distillation: Decoupling Three Clocks for Stage-Wise Supervision Consumption

Yun Zhu Da Wang

제출 2026-11-18

한국어 초록

온-정책 증류(OPD)에서 응답 완료, 지도 신호 전달, 매개변수 갱신을 같은 단위로 진행할 필요는 없다. 이 세 가지 시간 단위를 분리하는 스트리밍 OPD를 개발한다. 응답을 생성하는 동안 새로 만든 구간을 여러 번 전달한다. 전달할 때마다 인과 순서에 따른 전체 접두 문맥을 유지하고 새 위치에 대해서만 손실을 계산한다. 지도 신호 사용 절차는 예산, 위치 선택, 오래된 신호 처리, 갱신 일정을 조율한다. 이를 통해 학습 단계마다 지도 신호의 양, 포괄 범위, 모델 버전 지연을 제어할 수 있다. VERL로 GSM8K에서 Qwen3-4B를 Qwen3-0.6B에 증류한 실험에서, 지도 신호 예산을 맞추자 공통 후보 일곱 개의 최고 테스트 정확도 차이가 초기에 4.55%포인트에서 2.42%포인트로 줄었다. 같은 체크포인트에서 동기식으로 학습을 이어 갔을 때 u=384부터 576까지의 공통 후보 일곱 개 중 최고 테스트 정확도는 73.39%였다. 동기식 기준선은 74.30%, 지도 예산을 맞춘 조건은 71.95%였다. 기준선 대비 차이는 각각 −0.91%포인트와 −2.35%포인트다. 짝지어 비교할 기준선 없이 실험을 연장한 기록에서는 76.12%였다. 최신 신호만 남기는 필터링과 불일치의 겹침을 이용한 선택은 국소 최고점을 높였지만 지속적인 이점을 입증하지 못했다. 시스템 프로토타입에서는 데이터 공급 대기 시간이 줄었으나 갱신 횟수를 맞췄을 때 더 빨라지는지는 입증되지 않았다. 품질 회복과 데이터 공급 측 이점은 별도로 평가한다. 종단 간 이득을 계산하려면 학습을 이어 가는 비용을 포함해야 한다.

원문 초록

In on-policy distillation (OPD), response completion, supervision delivery, and parameter updates need not share the same granularity. We develop streaming OPD by decoupling these three clocks: a response repeatedly delivers newly generated segments while generation continues, retaining the full causal prefix at each delivery and computing loss only on new positions. A consumption protocol then organizes supervision budgets, position selection, staleness handling, and update scheduling, allowing control over quantity, coverage, and version lag across training stages. In GSM8K experiments distilling Qwen3-4B into Qwen3-0.6B with VERL, supervised-budget matching reduces the early gap between best test accuracies over seven common candidates from 4.55 to 2.42 points. Synchronous continuation from the same checkpoint reaches 73.39% best test accuracy over seven common candidates at u=384,...,576, versus 74.30% synchronous and 71.95% budget-matched (differences -0.91 and -2.35 points); an unpaired extended record reaches 76.12%. Freshness filtering and disagreement-overlap selection improve local peaks but do not establish sustained advantages. A system prototype shows lower data-supply waiting times without establishing an equal-update speedup. Quality recovery and supply-side benefits are assessed separately; end-to-end gains must account for continuation cost.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22298v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.