Bad Genius: 반사실 유도 하네스 진화로 과제 특화 지름길을 넘어서
Bad Genius: Counterfactual-Guided Harness Evolution Beyond Task-Specific Shortcuts
한국어 초록
최적화된 에이전트 하네스는 해당 과제들이 벤치마크의 나머지와 공유하는 형식 관례에 의존함으로써 보류 과제에서 성능을 향상시킬 수 있다. 본 논문은 하네스 개선이 평가 프로토콜의 변화에도 유지되는지 검증하기 위해 반사실적 하네스 탐색 및 진화(Counterfactual Harness Search and Evolution, CHASE)를 제안한다. Proposer는 고정된 기반 모델 주위의 하네스를 편집한다. 이후 Challenger는 과제는 보존하면서 갱신된 하네스의 초기 하네스 대비 이득을 감소시키는 프로토콜 변경을 탐색한다. 실행 가능한 검사를 통해 해당 변환이 과제 의미를 보존하는지 확인한다. 보류 과제에서 이득 손실이 확인되면 CHASE는 해당 변환을 이후 하네스 갱신을 제약하는 아카이브에 추가한다. 본 논문은 이 유한 아카이브가 지름길이 제거된 이상적인 벤치마크에서 이득 손실을 제한하는 조건을 제시한다. CHASE를 Syn-Ledger, OfficeQA, FinanceBench, SWE-Bench Pro V2에서 평가한다. Syn-Ledger에서 알려진 지름길을 제거하면 정확도는 CHASE가 38.30%, HarnessEvolve가 18.27%이다. SWE-Bench Pro V2 HARD-51의 21개 인증 과제에서 이슈 형식과 도구 출력 필드 순서를 변경하면 HarnessEvolve의 초기 하네스 대비 이득이 8.57에서 3.81 퍼센트포인트로 감소한다. 최종 CHASE 하네스는 동일한 변경 하에서 11.43점의 이득 중 10.48점을 유지한다.
원문 초록
An optimized agent harness can improve on held-out tasks by relying on formatting conventions that those tasks share with the rest of the benchmark. We introduce Counterfactual Harness Search and Evolution (CHASE) to test whether harness improvements survive changes to the evaluation protocol. A Proposer edits the harness around a fixed foundation model. A Challenger then searches for a protocol change that preserves the tasks but reduces the updated harness's gain over the initial harness. Executable checks test whether the transformation preserves task semantics. If the gain loss is confirmed on held-out tasks, CHASE adds the transformation to an archive that constrains subsequent harness updates. We give conditions under which this finite archive bounds the gain loss on an ideal benchmark with shortcuts removed. We evaluate CHASE on Syn-Ledger, OfficeQA, FinanceBench, and SWE-Bench Pro V2. On Syn-Ledger, removing the known shortcuts yields 38.30% accuracy for CHASE and 18.27% for HarnessEvolve. On the 21 certification tasks from SWE-Bench Pro V2 HARD-51, changing the issue formatting and tool-output field order reduces HarnessEvolve's gain over the initial harness from 8.57 to 3.81 percentage points. The final CHASE harness retains 10.48 points of its 11.43-point gain under the same change.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.18366v4제출 시각 미확인
- arXiv:2609.18366v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.