arXiv:2605.30621 cs.AI

Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents

제출 2026-05-28

한국어 초록

대규모 언어 모델(LLM) 에이전트는 점점 더 프롬프트, 스킬, 메모리, 도구를 포함한 수정 가능한 외부 하니스(harness)를 중심으로 구축된 시스템으로 배치되고 있으며, 이는 모델 파라미터를 바꾸지 않고도 작업 실행을 좌우합니다. 하니스 자체 진화(harness self-evolution)는 실행 증거를 바탕으로 이러한 하니스를 업데이트함으로써 에이전트를 적응시킵니다. 그러나 작업 해결에서의 모델의 기본 역량이 하니스 자체 진화 역량을 예측하는지는 아직 분명하지 않습니다. 즉, 어떤 모델이 유용한 하니스 업데이트를 만들어 내고, 어떤 모델이 실제로 그로부터 이득을 얻는지는 아직 알려져 있지 않습니다. 우리는 하니스 자체 진화의 두 가지 역량을 분석합니다. (i) 하니스 업데이트 능력, 즉 실행 증거로부터 유용한 지속적 하니스 업데이트를 만들어 내는 능력, (ii) 하니스 이득 능력, 즉 업데이트된 하니스를 사용해 작업을 해결하는 동안 그 혜택을 받는 능력입니다. 분석 결과, 두 가지를 확인했습니다. 첫째, 하니스 업데이트는 기본 역량에 따라 거의 평평합니다. 서로 다른 역량 등급의 모델이 생성한 하니스 업데이트는 놀라울 정도로 비슷한 수준의 성능 향상을 이끌어내며, Qwen3.5-9B의 업데이트조차 Claude Opus 4.6의 업데이트와 비슷한 수준의 향상을 냅니다. 둘째, 하니스 이득은 기본 역량에 대해 단조롭지 않습니다. 약한 등급 모델은 업데이트된 하니스의 혜택을 거의 받지 못하고, 중간 등급 모델이 가장 큰 혜택을 받으며, 강한 등급 모델은 중간 등급보다 덜 이득을 봅니다. 우리는 약한 등급에서의 낮은 향상을 두 가지 실패 양상으로 설명합니다. 약한 등급 모델은 관련 하니스 아티팩트를 활성화하지 못할 수 있고, 또는 이를 활성화하더라도 충실하게 따르지 못할 수 있습니다. 이러한 결과는 진화기보다는 작업 해결 에이전트에 역량 예산을 투자하고, 에이전트 학습에서는 하니스 호출과 장기 지시 이행을 목표로 삼아야 함을 시사합니다. 소스 코드는 https://github.com/A-EVO-Lab/a-evolve/tree/release/harness-evolution 에서 공개되어 있습니다.

요약

대규모 언어 모델(Large Language Model, LLM) 에이전트가 프롬프트, 스킬, 메모리, 도구 같은 외부 하네스(harness)를 통해 동작하는 환경에서, 실행 증거를 바탕으로 하네스를 스스로 갱신하는 능력이 실제로 무엇을 의미하는지 정밀하게 분리해 살핀 연구입니다. 핵심 방법론은 하네스 업데이트를 만들어 내는 능력인 harness-updating과, 업데이트된 하네스를 실제 과제 해결에 활용해 이득을 얻는 능력인 harness-benefit을 서로 다른 축으로 정의하고, 이를 기본 과제 해결 능력(base capability)과 교차 비교하는 데 있습니다. 이를 위해 저자들은 SWE-bench Verified, MCP-Atlas, SkillsBench라는 서로 다른 유형의 에이전트 벤치마크를 사용해 소프트웨어 공학 작업, 도구 사용, 스킬 기반 실행에서 같은 현상이 재현되는지 검증했습니다. 평가 절차는 in-situ 방식으로 구성되어, 과거 실행의 증거가 다음 시점의 하네스에 반영되는 순차적 solve-evolve 루프를 그대로 모사함으로써 실제 자기진화 시스템의 동작을 충실하게 반영합니다. 또한 에이전트와 에볼버(evolver)를 여러 계열의 모델로 분리해 배치하고, 동일한 초기 하네스와 동일한 예산, 동일한 턴 제한을 적용해 관측된 차이가 프롬프트 설계가 아니라 모델 능력 차이에서 비롯되도록 통제했습니다. 실험 결과는 직관적인 가정을 크게 흔듭니다. 먼저 harness-updating은 기본 능력에 대해 거의 평평한 양상을 보여, 작은 모델과 큰 모델이 만들어 내는 하네스 업데이트의 품질 차이가 생각보다 크지 않았으며, 어떤 경우에는 Qwen3.5-9B 같은 작은 모델이 Claude Opus 4.6과 비슷하거나 더 나은 개선을 만들기도 했습니다. 반면 harness-benefit은 기본 능력에 따라 단조롭게 증가하지 않았고, 약한 모델은 거의 이득을 보지 못하고 중간 능력대 모델이 가장 큰 향상을 얻은 뒤, 강한 모델에서는 오히려 이득이 다시 줄어드는 비단조 패턴이 나타났습니다. 이러한 결과는 하네스를 잘 생성하는 능력과 그 하네스를 실제로 활용하는 능력이 동일하지 않으며, 후자의 병목이 더 복잡하다는 점을 분명히 보여줍니다. 특히 약한 모델의 낮은 이득은 두 가지 실패 모드로 설명되었는데, 하나는 관련 하네스 아티팩트를 컨텍스트에 제대로 불러오지 못하는 harness activation failure이고, 다른 하나는 불러온 지침을 장기 실행 과정에서 끝까지 따르지 못하는 harness adherence failure입니다. 이때 skill-load rate(SLR)와 Harness-Following Rate(HFR) 같은 지표를 통해, 하네스 호출 자체와 지시 준수의 취약성이 약한 모델일수록 더 두드러진다는 점이 정량적으로 확인되었습니다. 이 논문의 중요한 기여는 셀프-에볼빙 LLM 에이전트의 성능을 단순히 “더 똑똑한 모델이 더 좋은 하네스를 만든다”는 관점으로 해석할 수 없다는 사실을 실증적으로 제시한 데 있습니다. 오히려 실제 성능을 좌우하는 중심 변수는 에볼버의 규모보다 태스크 해결 에이전트가 하네스를 얼마나 안정적으로 불러오고, 얼마나 긴 실행 경로 동안 충실하게 따를 수 있는가에 있었습니다. 따라서 연구는 향후 에이전트 학습의 초점을 하네스 생성 능력의 확장보다 하네스 호출과 장기 지시 추종 능력의 강화로 옮겨야 한다는 실천적 함의를 제안합니다. 결국 이 작업은 자기진화형 에이전트에서 “업데이트를 잘 만드는 능력”과 “업데이트의 혜택을 실제로 누리는 능력”을 분리해 바라봐야 한다는 점을 보여 주며, 보다 효율적인 모델 설계와 훈련 전략을 위한 기준점을 제공한다는 데 의의가 있습니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.