PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02858v1cs.AI

소형 언어 모델 에이전트를 위한 하네스 인지 증류

Harness-Aware Distillation for Small Language Model Agents

언어 모델(language model) 에이전트(agent)는 모델의 컨텍스트, 도구, 피드백을 관리하는 모델 주변 소프트웨어인 하네스(harness)와 함께 배포됩니다. 이러한 에이전트를 더 작은 에이전트로 증류(distillation)할 때 하네스는 그대로 유지되므로, 학생 모델은 하네스 정보를 바탕으로 올바르게 동작하는 것과 같이 하네스가 제공할 수 없는 교사 모델 고유의 능력만을 주로 필요로 합니다. 그러나 표준 증류 방식은 교사 모델의 전체 출력을 모방하며 하네스를 단순한 입력의 일부로 취급합니다. 본 논문에서는 하네스를 넘어서 교사 모델이 추가로 기여하는 부분에 증류를 집중하는 하네스 인지 증류(Harness-Aware Distillation, HAD)를 제안합니다. HAD는 온-정책(on-policy) 증류를 두 가지 구성 요소로 보완합니다. 하나는 학생 모델 자체의 추론 이후에 점수를 매겨 하네스 정보 유무에 따른 동일한 교사 모델의 행동을 대조하는 행동 선호도이며, 다른 하나는 선호되는 행동이 하네스 기록과 모순되는 선호도 쌍을 제거하는 유효성 검사입니다. 이러한 대조를 통해 교사 모델만을 모방해서는 얻을 수 없는 정보를 학생 모델에 제공함을 보이며, HAD는 태스크 보상, 성공 레이블 또는 미래 정보를 필요로 하지 않습니다. 여러 장기(long-horizon) 에이전트 벤치마크 및 모델 전반에서 HAD는 동일한 고정 하네스를 사용하는 온-정책 증류 베이스라인보다 뛰어난 성능을 보입니다. 분석 결과, HAD는 베이스라인에 비해 비생산적인 루프에 덜 빠지고 오류에서 더 자주 회복되며, 하네스에서 상태 정보를 읽어오는 동시에 학습 가능한 피드백을 가중치에 적응적으로 유지함을 시사합니다.