에이전트의 온-정책 증류가 대규모 언어 모델의 ReAct 패턴을 암묵적으로 바꾸는 방식
Agentic On-Policy Distillation Implicitly Reshapes LLMs' ReAct Patterns
한국어 초록
온-정책 증류(OPD)는 언어 모델 에이전트에 특화된 능력을 전이하지만, 상호작용에 미치는 교차 도메인 효과는 분명하지 않다. 본 연구는 수학, ALFWorld, $\tau^2$-bench에서 OPD가 ReAct 상호작용 패턴을 어떻게 바꾸는지 살펴본다. 추론, 행동, 관측 획득에 초점을 맞춘다. 일반 추론 감독은 수학 과제의 도구 사용 시도율을 70.4%에서 14.4%로 낮추면서 정확도는 16.7%에서 38.0%로 높였다. 코드 인터프리터를 사용하는 감독은 가사 행동과 소매 분야 쿼리의 성능을 개선했다. 반면 ALFWorld 감독을 적용하면 $\tau^2$-bench 정확도가 41.5%에서 6.6%로 낮아졌다. 사용자 정보가 먼저 필요하다는 조건을 위반하는 도구 호출도 자주 발생했다. 원천 도메인의 학습 궤적만 사용해 부정적 전이를 완화하기 위해, 도메인별 강화학습 전후의 교사 선호 변화로 안내하는 선택적 OPD를 탐구했다. 상위 95%의 위치를 유지하자 $\tau^2$의 정확도가 11.5%에서 29.9%로 높아졌다. 다만 원천 도메인 학습 성능에는 절충이 따랐다.
원문 초록
On-policy distillation (OPD) transfers specialized capabilities to language-model agents, but its cross-domain effects on interaction remain unclear. We investigate how OPD reshapes ReAct interaction patterns across mathematics, ALFWorld, and $\tau^2$-bench, focusing on reasoning, actions, and observation acquisition. General-reasoning supervision reduces mathematical tool attempts from 70.4% to 14.4% while increasing accuracy from 16.7% to 38.0%; code-interpreter supervision improves household actions and retail queries. In contrast, ALFWorld supervision reduces $\tau^2$-bench accuracy from 41.5% to 6.6%, accompanied by frequent tool calls that violate user-information dependencies. To address negative transfer using only source-domain training trajectories, we explore selective OPD guided by teacher preference changes before and after domain-specific RL. Retaining the top 95% of positions raises $\tau^2$ accuracy from 11.5% to 29.9% with a source-learning trade-off.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19244v2제출 시각 미확인
- arXiv:2611.19244v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.