에이전트를 위한 하네스 진화 평가의 재고
Rethinking the Evaluation of Harness Evolution for Agents
하네스 진화(harness evolution)는 태스크 피드백을 활용하여 대규모 언어 모델(LLM) 에이전트에 사용되는 후보 하네스를 반복적으로 평가하고 수정하는 반복적 탐색 절차입니다. 본 연구에서는 이러한 자동 하네스 진화 절차의 평가 방식을 재검토하고, 해당 프로토콜에서 두 가지 근본적인 문제를 확인합니다. 첫째, 선행 연구들은 동일한 피드백 및 추론(inference) 예산 하에서 이러한 접근법을 단순한 태스크 수준 탐색 기준선(baseline)과 비교하지 않았습니다. 둘째, 선행 연구들은 진화된 하네스의 최종 성능을 보고하는 동일한 벤치마크에서 추출된 검증 신호(예: 단위 테스트 케이스)를 사용하여 하네스 구성을 탐색함으로써, 학습(training) 데이터와 테스트 데이터 간의 표준적인 분리 원칙을 위반했습니다. 이를 해결하기 위해, 본 연구는 유사한 피드백 및 추론 예산 하에서 자동 하네스 진화를 단순한 테스트 타임 스케일링(test-time scaling) 및 탐색 기준선과 비교하고, 일반화 능력을 평가하기 위해 유보된(held-out) 태스크에서 진화된 하네스를 평가합니다. 선행 연구를 따라 Terminal-Bench 2.1에서 실험을 진행한 결과, 자동 하네스 진화는 테스트 케이스의 유무와 관계없이 단순한 테스트 타임 스케일링 방식을 능가하지 못했으며 제한적인 일반화 성능을 보였습니다. 그러나 본 연구는 장기적(long-horizon) 게임이 개선의 여지가 충분할 만큼 난도가 높고, 분포 외(out-of-distribution) 동역학에 대한 적응에 크게 의존하며, 설계상 세분화된 피드백을 제공한다는 점에서 자동 하네스 진화에 유망한 환경임을 발견했습니다. 이러한 환경에서 태스크 특화 하네스 진화는 동일한 예산 조건에서 ARC-AGI-3 기준선 대비 80.0%, EdgeBench 기준선 대비 10.9% 향상되었습니다. 종합하면, 이러한 결과는 진정한 하네스 개선과 벤치마크 특화 탐색 및 과적합(overfitting)을 구분하기 위해 예산이 일치된 기준선과 유보 데이터 평가가 필요함을 강조하며, 자동 하네스 진화가 실제로 유용한 시점에 대해 보다 신중한 특성 분석이 필요함을 시사합니다. 코드 번들은 https://github.com/rethinking-harness-evolution 에서 확인할 수 있습니다.