하네스 최적화(harness optimization)는 옵티마이저(optimizer) 에이전트가 타깃 에이전트의 하네스를 반복적으로 업데이트하도록 하여 에이전트 자동 생성을 가능하게 합니다. 이러한 성공에도 불구하고, 기존 연구들은 오로지 타깃 에이전트의 성능 향상만을 관찰하여 옵티마이저를 평가합니다. 이처럼 최종 개선도만을 간접적으로 평가하는 방식은 중간 단계에서 옵티마이저가 취하는 행동을 간과하는데, 이러한 행동은 종종 오류를 포함하며 배포 시 에이전트 성능을 저해합니다. 따라서 하네스 최적화가 옵티마이저의 정보에 기반한 업데이트 행동에 의해 주도되는지, 아니면 단순한 시행착오에 불과한지 불분명합니다. 이는 하네스 옵티마이저에 대한 직접적인 평가의 필요성을 제기합니다. 그러나 오라클(oracle) 하네스의 부재로 인해 하네스 옵티마이저를 직접 평가하는 것은 까다롭고 비용이 많이 듭니다. 이를 해결하기 위해 본 논문에서는 이들을 직접 평가하기 위한 단순하고 저비용인 설계인 우선순위 랭킹(priority ranking)을 제시합니다. 주어진 하네스 내의 구성 요소(예: 도구)들이 업데이트되었을 때 에이전트 성능을 개선하거나 저해할 잠재력에 따라 순위를 매기도록 하네스 옵티마이저에 요청함으로써, 제안하는 설계는 값비싼 롤아웃이나 수작업 검토 없이도 단계별 수준에서 옵티마이저의 역량을 정량화합니다. 더 중요한 점은, 옵티마이저의 랭킹 성능이 실제 다단계 하네스 최적화에서 에이전트를 개선하는 역량과 상관관계를 보인다는 것이며, 이는 우선순위 랭킹이 최적화 역량의 신뢰할 수 있는 지표임을 입증합니다. 우선순위 랭킹은 도메인, 설계, 시간 단계를 아우르는 182개의 인간 검증 최적화 시나리오 모음인 SHOR을 통해 가능해집니다. 코드 및 데이터: https://github.com/k59118/Harness_Optimizer_Evaluation.
자동화된 하네스 최적화(harness optimization)는 실행 피드백을 바탕으로 프롬프트, 도구 인터페이스, 제어 로직을 반복적으로 업데이트함으로써 대규모 언어 모델(LLM) 에이전트를 크게 향상시킬 수 있습니다. 그러나 기존 방법들은 하네스가 업데이트되는 방식을 최적화하는 데 주로 집중하며, 이러한 업데이트를 이끄는 피드백을 생성하는 학습 시나리오를 대체로 고정해 둡니다. 하네스가 진화함에 따라 추가 최적화에 가장 유용한 시나리오도 변할 수 있으며, 이는 학습 커리큘럼 자체가 하네스와 함께 적응해야 함을 시사합니다. 본 논문에서는 하네스 최적화에서 결여되었던 이러한 차원을 자동 커리큘럼 학습(automated curriculum learning) 문제로 정식화하고 ActiveSaddler를 소개합니다. ActiveSaddler는 진화하는 커리큘럼을 동적으로 인스턴스화되는 최적화 대상을 갖춘 비정상 밴딧(non-stationary bandit)으로 모델링합니다. 이 방법은 반복되는 실패를 재사용 가능한 실패 패턴 암(arm)으로 추상화하고, 각 패턴을 추가로 목표 삼았을 때 얻을 수 있는 잠재적 학습 진행도를 추정하며, 알려진 약점을 다시 탐색하는 것과 새로운 약점을 찾기 위해 미확인 시나리오를 탐색하는 것 사이의 균형을 적응적으로 맞춥니다. 최적화 결과는 발견된 실패 패턴 집합과 그 우선순위를 지속적으로 업데이트하여 커리큘럼이 하네스와 함께 공동 진화할 수 있도록 합니다. GAIA2 및 Terminal-Bench 2.0에 대한 실험 결과, ActiveSaddler는 지속적으로 더 강력한 하네스를 발견하여 최적화 전에 고정된 시나리오 순서를 사용하는 동일한 하네스 옵티마이저 대비 테스트 Pass@1을 각각 4.4%p 및 7.5%p 향상시키는 것으로 나타났습니다. 추가 절제 연구(ablation study)는 이러한 향상이 최적화 대상을 동적으로 구성하고, 진화하는 유용성을 추정하며, 지속적인 최적화와 새로운 실패 발견 간의 균형을 맞추는 데 기인함을 보여줍니다. 종합적으로 이러한 결과는 자동 커리큘럼 학습이 하네스 최적화를 위한 핵심적인 새로운 최적화 차원임을 입증합니다.