OPID: 에이전트 강화학습을 위한 온-정책 스킬 증류
OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning
완료된 온-정책 궤적에서 계층적 후견 스킬(에피소드·스텝 수준)을 추출해 중요 결정 시점 중심으로 라우팅하고, 스킬 증강 컨텍스트에서의 로그 확률 변화를 토큰 수준 자기 증류 이점으로 만들어 결과 기반 강화학습(RL)과 결합하는 OPID를 제안한다. ALFWorld, WebShop, 검색 기반 QA에서 결과만 쓰는 RL과 기존 스킬 증류 베이스라인 대비 에이전트 성능, 샘플 효율, 견고성이 전반적으로 향상되었다.