에이전트 스킬 진화를 위한 궤적 기반 결함 국소화
Trajectory-Guided Fault Localization for Agent Skill Evolution
한국어 초록
에이전트(agent) 스킬은 코드 에이전트에 재사용 가능한 가이던스를 제공하지만, 불완전하거나 부적절한 가이던스는 태스크 수행을 저해할 수 있습니다. 스킬 개선에 드는 수작업을 줄이기 위해, 최근 접근 방식들은 실행 피드백으로부터 수정안을 생성하는 데 대규모 언어 모델(LLM)을 사용합니다. 그러나 이러한 수정안을 명시적인 행동 증거에 그라운딩(grounding)하는 것은 여전히 어려운 과제입니다. 이러한 한계를 해결하기 위해, 본 논문에서는 에이전트 스킬의 궤적 기반 결함 국소화(fault localization)를 바탕으로 한 스킬 진화 접근법인 SkillMorph를 제안합니다. 이 방식의 핵심 아이디어는 수정안을 생성하기 전에 실행 증거를 특정 스킬 내용과 연결하는 것입니다. 구체적으로 SkillMorph는 반복 실행 및 태스크 전반에서 추상화된 궤적 내 실패와 성공 증거를 비교하고, 진화 루프 간 변경 사항을 통합하여 의심스러운 행동을 식별합니다. 그런 다음 이러한 의심스러운 행동을 활용해 스킬 내 편집 위치를 국소화하고 이에 대응하는 수정안을 생성합니다. SWE-Skills-Bench 및 CannBot을 대상으로 한 실험 결과, SkillMorph로 진화된 스킬은 기존 스킬 및 네 가지 기존 스킬 진화 방식에 비해 지속적으로 더 높은 시도 수준의 정확도와 실행 일관성을 달성함을 보여줍니다. 또한 AI 연산자 개발 팀과 함께 자동화된 커널(kernel) 생성에 SkillMorph를 적용하여 6건의 스킬 수정 풀 리퀘스트가 반영되는 성과를 거두었습니다.
원문 초록
Agent skills provide reusable guidance for code agents, but incomplete or unsuitable guidance can impair task execution. To reduce the manual effort of skill refinement, recent approaches use LLMs to generate revisions from execution feedback. However, grounding these revisions in explicit behavioral evidence remains challenging. To address this gap, we propose SkillMorph, a skill-evolution approach based on trajectory-guided fault localization in agent skills. Its core idea is to link execution evidence to specific skill contents before generating revisions. Specifically, SkillMorph compares failure and success evidence in abstracted trajectories across repeated runs and tasks, incorporating changes between evolution loops to identify suspicious actions. It then uses these suspicious actions to localize edit sites in the skills and generate corresponding revisions. Experiments on SWE-Skills-Bench and CannBot show that the skills evolved by SkillMorph consistently achieve higher trial-level accuracy and execution consistency than the original skills and those from four existing skill-evolution methods. We have also applied SkillMorph to automated kernel generation with an AI operator-development team, which has accepted 6 skill-revision pull requests.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
20 pages, 3 figures