PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04037v1cs.LG

보상 게이팅 온-정책 지식 증류

Reward-Gated On-Policy Distillation

온-정책 지식 증류(on-policy distillation)에서 교사 모델의 로짓이 항상 신뢰할 수 없다는 문제를 해결하기 위해, RG-OPD는 검증기(verifier) 보상과 교사-학생 간 우도(likelihood) 격차의 방향성이 일치하는 궤적에 대해서만 증류 손실을 적용하는 보상 게이팅(reward gating) 메커니즘을 도입한다. 추론 및 코딩 벤치마크에서 RG-OPD는 기존 역방향-KL 증류 대비 최대 2.9점, TSD-KD 대비 4.9점 향상되며, 장문 생성 환경에서는 비튜닝 학생 모델 대비 8.2점 개선된 성능을 달성한다.

arXiv:2512.21002v3cs.CL

Distilling the Essence: Efficient Reasoning Distillation via Sequence Truncation

대규모 추론 모델(LRM)에서 소형 학생 모델로의 지식 증류 시, 학습 시퀀스의 각 구간(프롬프트, CoT, 정답)이 성능에 미치는 영향을 체계적으로 분석한 결과, CoT 토큰이 추론 능력 전달의 핵심 요소임을 밝혔다. 학습 시퀀스의 앞 50%만 사용해도 수학 벤치마크에서 평균 약 91%의 성능을 유지하면서 학습 시간·메모리·FLOPs를 각각 약 50% 절감할 수 있음을 보였다.

arXiv:2606.22830v1cs.AI

증거 찾기: 온-정책 추론 증류를 위한 의사결정 지원 토큰 발견

Finding the Evidence: Discovering Decision-Supporting Tokens for On-Policy Reasoning Distillation

온-정책 증류(on-policy distillation)는 토큰 수준의 밀집 지도를 통해 추론 능력을 전달하지만, 전달 가능한 신호의 본질은 여전히 불분명하다. 우리는 추론 체인(reasoning chain)에 서로 다른 발견 메커니즘이 필요한 두 유형의 지식이 포함되어 있음을 밝힌다. 분기 지점(어디로 갈릴지)을 나타내는 의사결정(decision)은 학생 모델의 불확실성을 통해 드러나며, 의사결정을 정당화하는 중간 단계인 증거(evidence)는 학생이 확신하지만 틀린 위치에 숨어 있다. 기존 방법은 의사결정만 포착하며, 증거 토큰에 담긴 실질적 지식은 전달되지 않은 채 남는다. 우리는 DEAR(Decision-Evidence Aware Reasoning Distillation)를 제안한다. DEAR는 먼저 학생 모델의 엔트로피(entropy)로 의사결정을 식별한 뒤, 의사결정 앵커(decision anchor)에 대한 hidden-state 코사인 유사도(cosine similarity)를 통해 이를 뒷받침하는 증거를 발견하고, 교사-학생 발산(teacher-student divergence)으로 가장 큰 지식 격차를 우선순위화한다. 수학 및 코드 벤치마크(benchmark)에서 세 가지 학생-교사(student-teacher) 구성에 걸쳐 DEAR는 표준 OPD(on-policy distillation)를 일관되게 능가하며, 경쟁 수학(competition math)에서 최대 +2.5pp, 코드 생성(code generation)에서 최대 +5.7pp의 향상을 보인다.