arXiv:2608.06347v1 cs.CL

RP-OPSD: 다국어 추론 전이를 위한 추론 피벗 유도 온-정책 자기 증류

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer

Xinye Wang, Junxiao Liu, Shujian Huang

제출 2026-08-06

한국어 초록

다국어 추론 전이는 대규모 언어 모델(LLM)의 추론 능력을 고자원 언어를 넘어 확장하는 데 매우 중요합니다. 온-정책(on-policy) 자기 증류(OPSD) 및 그 변형 기법들은 학생 모델이 생성한 롤아웃에 대해 조밀한 토큰(token) 수준의 감독을 제공하는 유망한 패러다임으로 부상했으나, 그 목적 함수는 교차 언어 전이에 가장 중요한 추론 신호를 명시적으로 우선시하지 않습니다. 본 연구에서는 타깃 언어 추론이 표면 텍스트와 추론 피벗(reasoning pivot)의 생성을 모두 포함한다는 점을 규명합니다. 여기서 추론 피벗은 추론 과정을 진전시키거나 방향을 전환하고 후속 추론을 형성하는 결정들입니다. 이는 이러한 피벗을 중심으로 특권적 증류(privileged distillation)를 집중시켜야 한다는 동기를 부여합니다. 따라서 본 논문에서는 영어 참조 풀이가 있는 경우와 없는 경우의 일치된 교사 뷰 간 분포 변화(distributional shift)를 운영 프록시로 사용하여 특권적 증류 및 참조 앵커링을 유도하는 '추론 피벗 유도 온-정책 자기 증류(RP-OPSD)'를 제안합니다. 17개 언어와 다양한 난이도를 다루는 수학 추론 벤치마크 실험 결과, 본 연구의 방법은 강력한 다국어 추론 베이스라인 및 OPSD 변형 모델들을 능가하는 성능을 보였습니다. 추가 분석에 따르면, RP-OPSD는 주로 표면적 표현을 뒷받침하는 토큰에 대해서는 가중치를 낮추는 반면, 추론 제어 및 문제 조건부 상태 업데이트 토큰에 특권적 증류를 집중시키는 것으로 나타났습니다. 코드 원본은 https://github.com/NJUNLP/RP-OPSD 에서 확인할 수 있습니다.

원문 초록

Multilingual reasoning transfer is crucial for extending reasoning capabilities of large language models (LLMs) beyond high-resource languages. On-policy self-distillation (OPSD) and its variants have emerged as a promising paradigm, providing dense token-level supervision on student-generated rollouts, yet their objectives do not explicitly prioritize reasoning signals most critical to cross-lingual transfer. We characterize that target-language reasoning comprises the generation of both surface text and reasoning pivots, which are decisions that advance or redirect the reasoning process and shape subsequent inference. This motivates concentrating privileged distillation around such pivots. We therefore propose RP-OPSD, Reasoning-Pivot-guided On-Policy Self-Distillation, using the distributional shift between matched teacher views with and without an English reference solution as an operational proxy to guide privileged distillation and reference anchoring. Experiments on mathematical reasoning benchmarks covering 17 languages and multiple difficulty levels show that our method outperforms strong multilingual reasoning baselines and OPSD variants. Further analysis reveals that RP-OPSD concentrates privileged distillation on reasoning-control and problem-condistioned state-update tokens, while downweighting it for tokens that mainly support surface realization. Our code is available at https://github.com/NJUNLP/RP-OPSD.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.06347v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.