PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.22505v3cs.AI

우선순위 랭킹을 통한 하네스 옵티마이저의 직접 평가를 향하여

Towards Direct Evaluation of Harness Optimizers via Priority Ranking

하네스 최적화(harness optimization)는 옵티마이저(optimizer) 에이전트가 타깃 에이전트의 하네스를 반복적으로 업데이트하도록 하여 에이전트 자동 생성을 가능하게 합니다. 이러한 성공에도 불구하고, 기존 연구들은 오로지 타깃 에이전트의 성능 향상만을 관찰하여 옵티마이저를 평가합니다. 이처럼 최종 개선도만을 간접적으로 평가하는 방식은 중간 단계에서 옵티마이저가 취하는 행동을 간과하는데, 이러한 행동은 종종 오류를 포함하며 배포 시 에이전트 성능을 저해합니다. 따라서 하네스 최적화가 옵티마이저의 정보에 기반한 업데이트 행동에 의해 주도되는지, 아니면 단순한 시행착오에 불과한지 불분명합니다. 이는 하네스 옵티마이저에 대한 직접적인 평가의 필요성을 제기합니다. 그러나 오라클(oracle) 하네스의 부재로 인해 하네스 옵티마이저를 직접 평가하는 것은 까다롭고 비용이 많이 듭니다. 이를 해결하기 위해 본 논문에서는 이들을 직접 평가하기 위한 단순하고 저비용인 설계인 우선순위 랭킹(priority ranking)을 제시합니다. 주어진 하네스 내의 구성 요소(예: 도구)들이 업데이트되었을 때 에이전트 성능을 개선하거나 저해할 잠재력에 따라 순위를 매기도록 하네스 옵티마이저에 요청함으로써, 제안하는 설계는 값비싼 롤아웃이나 수작업 검토 없이도 단계별 수준에서 옵티마이저의 역량을 정량화합니다. 더 중요한 점은, 옵티마이저의 랭킹 성능이 실제 다단계 하네스 최적화에서 에이전트를 개선하는 역량과 상관관계를 보인다는 것이며, 이는 우선순위 랭킹이 최적화 역량의 신뢰할 수 있는 지표임을 입증합니다. 우선순위 랭킹은 도메인, 설계, 시간 단계를 아우르는 182개의 인간 검증 최적화 시나리오 모음인 SHOR을 통해 가능해집니다. 코드 및 데이터: https://github.com/k59118/Harness_Optimizer_Evaluation.