PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12227v3cs.AI

에이전트를 위한 하네스 진화 평가의 재고

Rethinking the Evaluation of Harness Evolution for Agents

하네스 진화(harness evolution)는 태스크 피드백을 활용하여 대규모 언어 모델(LLM) 에이전트에 사용되는 후보 하네스를 반복적으로 평가하고 수정하는 반복적 탐색 절차입니다. 본 연구에서는 이러한 자동 하네스 진화 절차의 평가 방식을 재검토하고, 해당 프로토콜에서 두 가지 근본적인 문제를 확인합니다. 첫째, 선행 연구들은 동일한 피드백 및 추론(inference) 예산 하에서 이러한 접근법을 단순한 태스크 수준 탐색 기준선(baseline)과 비교하지 않았습니다. 둘째, 선행 연구들은 진화된 하네스의 최종 성능을 보고하는 동일한 벤치마크에서 추출된 검증 신호(예: 단위 테스트 케이스)를 사용하여 하네스 구성을 탐색함으로써, 학습(training) 데이터와 테스트 데이터 간의 표준적인 분리 원칙을 위반했습니다. 이를 해결하기 위해, 본 연구는 유사한 피드백 및 추론 예산 하에서 자동 하네스 진화를 단순한 테스트 타임 스케일링(test-time scaling) 및 탐색 기준선과 비교하고, 일반화 능력을 평가하기 위해 유보된(held-out) 태스크에서 진화된 하네스를 평가합니다. 선행 연구를 따라 Terminal-Bench 2.1에서 실험을 진행한 결과, 자동 하네스 진화는 테스트 케이스의 유무와 관계없이 단순한 테스트 타임 스케일링 방식을 능가하지 못했으며 제한적인 일반화 성능을 보였습니다. 그러나 본 연구는 장기적(long-horizon) 게임이 개선의 여지가 충분할 만큼 난도가 높고, 분포 외(out-of-distribution) 동역학에 대한 적응에 크게 의존하며, 설계상 세분화된 피드백을 제공한다는 점에서 자동 하네스 진화에 유망한 환경임을 발견했습니다. 이러한 환경에서 태스크 특화 하네스 진화는 동일한 예산 조건에서 ARC-AGI-3 기준선 대비 80.0%, EdgeBench 기준선 대비 10.9% 향상되었습니다. 종합하면, 이러한 결과는 진정한 하네스 개선과 벤치마크 특화 탐색 및 과적합(overfitting)을 구분하기 위해 예산이 일치된 기준선과 유보 데이터 평가가 필요함을 강조하며, 자동 하네스 진화가 실제로 유용한 시점에 대해 보다 신중한 특성 분석이 필요함을 시사합니다. 코드 번들은 https://github.com/rethinking-harness-evolution 에서 확인할 수 있습니다.

arXiv:2609.11677v2cs.SE

Ecdysis: LLM 에이전트를 위한 런타임 하네스의 효율적이고 효과적인 학습

Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents

자체 진화형(self-evolving) 런타임 하네스는 대규모 언어 모델(LLM) 에이전트의 역량을 크게 향상시킬 수 있으며 에이전트 실행을 최적화하기 위한 유망한 패러다임을 제공합니다. 기존의 실패 기반(failure-driven) 접근 방식은 관찰된 에이전트의 실패를 하네스 수정을 위한 직접적인 근거로 취급하는 경우가 많습니다. 실패 기반 하네스 진화의 주요 난제는 관찰된 실패가 기반 모델의 한계를 반영할 수도 있고 하네스의 체계적인 결함을 반영할 수도 있다는 점입니다. 따라서 개별 실패에 대해 직접 최적화하면 모델별 편향된 적응(model-specific accommodation)을 유발하고 작업 및 모델 전반에 걸친 일반화를 저해할 수 있습니다. 본 연구에서는 작업 인스턴스 전반에 걸쳐 축적된 실패 근거가 하네스 학습(training)을 위한 더 신뢰할 수 있는 신호를 제공할 수 있는지 조사합니다. 우리의 핵심 통찰은 서로 다른 작업에서 반복되는 실패가 고립된 실패보다 하네스의 체계적 결함에 대한 더 강력한 귀납적 근거를 제공한다는 것입니다. 이러한 통찰을 바탕으로, 우리는 반복되는 실패 패턴을 영구적인 하네스 진화로 승격시키기 전에 여러 작업 인스턴스 전반의 실패 근거를 집계하여 개별 모델의 행동을 넘어 일반화될 가능성이 더 높은 수정 방향으로 진화를 유도하는 Ecdysis를 제안합니다. 나아가 Ecdysis는 협업적 실패 분석을 활용하여 수정 명세를 정제함으로써, 진화 단계에서의 추가적인 추론 비용을 수정 품질 향상과 맞바꿉니다. 여러 LLM과 벤치마크 전반에서 Ecdysis는 기존 하네스 진화 방식 대비 진화된 하네스의 추론(reasoning) 정확도를 18.56% 향상시키는 동시에 하네스 학습 속도를 최대 1.84배 가속합니다. 또한 Ecdysis는 데이터 효율성이 더 높은 학습을 가능하게 합니다. 세부 분석에 따르면 Ecdysis는 진화 과정에서 모델 특화된 적응을 줄이는 한편, 결과로 도출된 하네스는 더 강력한 LLM 간 일반화 성능을 보이고 추론(inference) 시점의 토큰 소비량을 절감하는 것으로 나타났습니다.