PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.11677v2cs.SE

Ecdysis: LLM 에이전트를 위한 런타임 하네스의 효율적이고 효과적인 학습

Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents

자체 진화형(self-evolving) 런타임 하네스는 대규모 언어 모델(LLM) 에이전트의 역량을 크게 향상시킬 수 있으며 에이전트 실행을 최적화하기 위한 유망한 패러다임을 제공합니다. 기존의 실패 기반(failure-driven) 접근 방식은 관찰된 에이전트의 실패를 하네스 수정을 위한 직접적인 근거로 취급하는 경우가 많습니다. 실패 기반 하네스 진화의 주요 난제는 관찰된 실패가 기반 모델의 한계를 반영할 수도 있고 하네스의 체계적인 결함을 반영할 수도 있다는 점입니다. 따라서 개별 실패에 대해 직접 최적화하면 모델별 편향된 적응(model-specific accommodation)을 유발하고 작업 및 모델 전반에 걸친 일반화를 저해할 수 있습니다. 본 연구에서는 작업 인스턴스 전반에 걸쳐 축적된 실패 근거가 하네스 학습(training)을 위한 더 신뢰할 수 있는 신호를 제공할 수 있는지 조사합니다. 우리의 핵심 통찰은 서로 다른 작업에서 반복되는 실패가 고립된 실패보다 하네스의 체계적 결함에 대한 더 강력한 귀납적 근거를 제공한다는 것입니다. 이러한 통찰을 바탕으로, 우리는 반복되는 실패 패턴을 영구적인 하네스 진화로 승격시키기 전에 여러 작업 인스턴스 전반의 실패 근거를 집계하여 개별 모델의 행동을 넘어 일반화될 가능성이 더 높은 수정 방향으로 진화를 유도하는 Ecdysis를 제안합니다. 나아가 Ecdysis는 협업적 실패 분석을 활용하여 수정 명세를 정제함으로써, 진화 단계에서의 추가적인 추론 비용을 수정 품질 향상과 맞바꿉니다. 여러 LLM과 벤치마크 전반에서 Ecdysis는 기존 하네스 진화 방식 대비 진화된 하네스의 추론(reasoning) 정확도를 18.56% 향상시키는 동시에 하네스 학습 속도를 최대 1.84배 가속합니다. 또한 Ecdysis는 데이터 효율성이 더 높은 학습을 가능하게 합니다. 세부 분석에 따르면 Ecdysis는 진화 과정에서 모델 특화된 적응을 줄이는 한편, 결과로 도출된 하네스는 더 강력한 LLM 간 일반화 성능을 보이고 추론(inference) 시점의 토큰 소비량을 절감하는 것으로 나타났습니다.