arXiv:2611.23673v1 cs.LG

소통형 온폴리시 증류: 장기 과제를 위한 소통을 통한 블랙박스 교사 능력 증류

Communicative On-Policy Distillation: Distilling Black-Box Teacher Capabilities through Communication for Long-Horizon Tasks

Lirui Luo, Kelong Mao, Xinwei Yang, Rongqing Li, Luyu Chen, Kieran Wong, Yudong Guo, Xinrui Wang, Jiayin Zhu, Gu Simiu, Sulong Xu, Cong Fang

제출 2026-11-19

한국어 초록

온폴리시 증류(OPD)는 장기 과제에서 언어 모델 에이전트를 개선하는 강력한 패러다임이지만, 기존 정식화는 텍스트 전용 블랙박스 모델이 공개하지 않는 교사 로짓에 의존한다. 이러한 한계를 해결하기 위해 우리는 자연어 소통을 매개로 더 강한 모델의 능력을 더 작은 학생 모델로 증류하는 소통형 온폴리시 증류(COPD)를 도입한다. 과제 수행 중 학생은 블랙박스 교사에게 언제 문의할지 자율적으로 결정하고, 사전 정의된 질문 템플릿이나 개입 일정 없이 개방형 자연어 요청을 구성한다. 성공한 학생-교사 상호작용은 특권적 참조로 보존되어, 과제 보상 강화학습과 함께 온폴리시 자기 증류를 통해 조언자 없는 새로운 학생 롤아웃을 지도한다. CAMG-II에서 COPD는 가장 강력한 블랙박스 OPD 기준선의 2.46배에 달하는 향상을 달성한다. 소통을 통해 학습한 능력은 Terminal-Bench 2.1과 SWE-Bench Pro V2로 일반화되어 조언자 접근 없이도 과제 성공률을 향상시킨다.

원문 초록

On-policy distillation (OPD) is a powerful paradigm for improving language-model agents on long-horizon tasks, yet its conventional formulation relies on teacher logits that text-only black- box models do not expose. To address this limitation, we introduce Communicative On-Policy Distillation (COPD), which uses natural-language communication as a medium for distilling a stronger model's capabilities into a smaller student. During task execution, the student au- tonomously decides when to consult a black-box teacher and formulates open-ended natural- language requests without predefined question templates or intervention schedules. Successful student-teacher interactions are retained as privileged references to supervise fresh adviser-free student rollouts through on-policy self-distillation, jointly with task-reward reinforcement learning. On CAMG-II, COPD achieves 2.46 times the gain of the strongest black-box OPD baseline. The capabilities it learns through communication generalize to Terminal-Bench 2.1 and SWE-Bench Pro V2, improving task success without adviser access.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23673v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.