DENSE: 자기 정제를 위해 에이전트 궤적을 근거 기반 지름길 트리로 증류하기
DENSE: Distilling Agent Trajectories into Evidence-Grounded Shortcut Trees for Self-Refinement
온라인 에이전트(agent) 배포 환경에서는 대규모이자 행동적으로 다양한 실행 궤적(trajectory)이 축적되지만, 이에 대한 사전 정의된 주석 기준은 거의 존재하지 않습니다. 따라서 유용한 근거를 추출하려면 비용이 많이 드는 수동 주석이나 확장이 어려운 검증기(verifier) 신호가 필요하며, 이로 인해 귀중한 근거가 중복되거나 불완전하고 실패한 실행 속에 묻히게 됩니다. 이는 한 가지 질문을 제기합니다. 실행 후 보상이나 정답 레이블 없이, 궤적 자체에서 어떻게 재사용 가능한 경험을 증류(distillation)할 수 있을까요? 이러한 과제를 해결하기 위해, 저희는 궤적에서 파생된 근거를 중첩 지름길 트리(nested shortcut tree)로 구성하는 DENSE(Distilling Evidence from Nested Subtask Executions)를 소개합니다. DENSE는 중복된 시도를 통합하고, 해결된 하위 작업을 식별하며, 미해결된 요구사항과 함께 유용한 단계를 유지함으로써 노이즈가 많은 실행 흔적을 구조화되고 재사용 가능한 작업 해결 피드백으로 변환합니다. 이러한 피드백이 에이전트가 동일한 작업을 재시도하는 데 도움이 되는지 평가하기 위해, 초기 시도와 피드백 기반 재시도 간의 성공률 변화를 측정하는 REFIT을 설계했습니다. 외부 결과 감독이 없는 피드백 방법 중 DENSE는 Terminal-Bench 2.1에서 4개 에이전트 모델에 걸쳐 가장 높은 엄격 통과율(strict pass rate)을 달성했으며, 재시도 시 19.0-43.6% 더 적은 에이전트 토큰(token)을 사용하면서 초기 시도 대비 7.12-21.81%p 향상되었습니다. 또한 어려운 작업에서 DENSE는 4개 모델 모두에서 여러 차례의 피드백 반복에 걸쳐 누적 통과율 면에서 지속적으로 자기 반성(self-reflection)을 능가하여, 지속적인 에이전트 자기 개선에 대한 강력한 잠재력을 입증했습니다.