최종 성능을 넘어: 자기 진화 에이전트의 프로세스 수준 평가
Beyond Endpoint Performance: Process-Level Evaluation of Self-Evolving Agents
자기 진화 에이전트는 상호작용 피드백을 기억이나 스킬 같은 지속적 산출물로 변환하고, 이는 이후 의사결정을 이끈다. 경험 스트림 전반에서 이러한 산출물이 반복적으로 갱신되면, 그들이 지원하는 역량은 진화할 수 있다. 따라서 최종 성능만으로는 자기 진화를 완전히 파악하기 어렵다. 프로세스 수준 평가는 목표 역량이 언제 출현하는지, 이후 갱신이 이를 강화·유지·약화하는지 밝히는 데 필수적이다. 이에 동기를 받아, 산출물 수준 자기 진화 과정에서 개별 역량을 추적하는 벤치마크 EvoPathBench를 제안한다. EvoPathBench는 기본 모델과 도구를 고정하고, 연속 체크포인트에서 진화 중인 산출물을 동결한 뒤, 홀드아웃 에피소드에서 목표 역량을 평가한다. 이 벤치마크는 공개 거래 데이터와 보정된 궤적을 사용해 에이전트 자기 진화를 평가하며, 세 가지 역량을 검증한다: 보지 못한 과제로의 일반화, 무관한 학습 이후 보존, 새로운 증거에 대한 규칙 적응. 실험 결과, 유사한 미복 과제에서의 이득은 분포 이동(distribution shift) 하에서 종종 약해지고, 보존 손실은 소수의 진화 경로에 집중되며, 어떤 방법도 신뢰할 만한 규칙 적응을 달성하지 못한다. 더욱이 자기 진화는 에이전트가 홀드아웃에서 상당한 이득을 보이는 후보 산출물을 생성하게 하지만, 선택된 갱신은 일관되게 그 잠재력을 실현하지 못한다. 종합하면, 이러한 결과는 역량 수준 프로세스 평가를 자기 진화 분석의 토대로 확립하고, 후보 평가와 선택을 개선의 핵심 과제로 지적한다.