arXiv:2605.23904 cs.AI

SkillOpt: Executive Strategy for Self-Evolving Agent Skills

제출 2026-05-22

한국어 초록

오늘날 에이전트 스킬은 수작으로 만들어지거나 일회성으로 생성되거나 느슨하게 제어된 자체 수정을 통해 진화하는데, 이들 중 어느 것도 스킬을 위한 딥러닝 옵티마이저처럼 작동하지 않으며, 피드백 하에서 초기 지점보다 안정적으로 개선되지 않습니다. 우리는 스킬이 대신 동결된 에이전트의 외부 상태로 학습되어야 하며, 가중치 공간 최적화를 재현 가능하게 만드는 동일한 규율을 따라야 한다고 주장합니다. 우리가 알기로는 SkillOpt는 에이전트 스킬을 위한 첫 번째 체계적 제어 가능한 텍스트 공간 옵티마이저입니다: 별도의 옵티마이저 모델이 점수 매긴 롤아웃을 단일 스킬 문서에 대한 경계있는 추가/삭제/교체 편집으로 변환하며, 편집은 검증 점수를 엄격히 개선할 때만 수용됩니다. 텍스트 학습률 예산, 거부된 편집 버퍼, 에포크별 느린/메타 업데이트는 배포 시 추론 시간 모델 호출을 추가하지 않으면서 스킬 학습을 안정적으로 만듭니다. 6개의 벤치마크, 7개의 목표 모델, 3개의 실행 하네스(direct chat, Codex, Claude Code) 전반에서 SkillOpt는 평가된 모든 52개(모델, 벤치마크, 하네스) 셀에서 최고이거나 동등하며, 인간, 일회성 LLM, Trace2Skill, TextGrad, GEPA, EvoSkill 스킬 중 모든 셀별 경쟁 대안을 능가합니다. GPT-5.5에서는 direct chat에서 평균 스킬 없는 정확도를 +23.5 포인트, Codex 에이전트 루프 내에서는 +24.8, Claude Code 내에서는 +19.1로 향상시킵니다. 전이 실험은 최적화된 스킬 아티팩트가 모델 규모 전반에서, Codex와 Claude Code 실행 환경 사이에서, 그리고 추가 최적화 없이 인접한 수학 벤치마크로 이동할 때 가치를 유지함을 추가로 보여줍니다. 코드: https://aka.ms/skillopt

요약

최신 언어 모델 기반 에이전트는 단순한 프롬프트 호출부터 도구 호출, 파일 관리, 복잡한 검증 절차를 포함한 다중 단계 실행 환경에 이르기까지 다양한 형태로 배포되고 있습니다. 이러한 환경에서 도메인 적응은 더 이상 모델의 가중치 조정만을 의미하지 않으며, 증거 수집, 도구 호출 전략, 도메인 규칙 준수, 출력 형식 지정과 같은 절차적 적응을 필수로 요구합니다. 자연어로 작성된 에이전트 스킬은 이러한 절차적 적응을 패키징하는 휴대용 아티팩트로서 동결된 에이전트가 외부 텍스트를 통해 도메인 특화 능력을 획득할 수 있는 자연스러운 인터페이스를 제공합니다. 그러나 기존의 스킬 개선 방식은 손으로 작성되거나 일회성으로 생성되는 방식, 또는 느슨하게 제어되는 자기 개선에 의존해왔으며, 이는 심화 학습의 가중치 최적화에 비해 체계성과 재현성이 부족합니다. 본 논문이 제시하는 SkillOpt는 에이전트 스킬을 위한 최초의 체계적이고 제어 가능한 텍스트 공간 옵티마이저로, 스킬 문서를 동결된 에이전트의 외부 상태로 취급하여 가중치 공간 최적화와 동일한 훈련 규율을 적용합니다. SkillOpt의 핵심 메커니즘은 별도의 옵티마이저 모델이 점수가 매겨진 롤아웃으로부터 단일 스킬 문서에 대한 제한된 추가, 삭제, 대체 편집으로 변환하고, 편집이 홀드아웃 검증 점수를 엄격히 개선할 때에만 수용되는 방식입니다. 텍스트 학습률 예산, 거부된 편집 버퍼, 에포크 단위 슬로우 및 메타 업데이트는 훈련 과정을 안정화하면서 배포 시 추론 오버헤드를 전혀 추가하지 않으며, 최종 배포되는 스킬 아티팩트는 300에서 2,000토큰 규모의 컴팩트한 자연어 문서로 유지됩니다. 이러한 설계는 심화 학습의 배치 크기, 학습률 스케줄, 검증 게이팅, 모멘텀 메커니즘 등의 원리를 텍스트 도메인에 체계적으로 적용한 것으로, 스킬 개선의 정확성과 재현성을 크게 향상시킵니다. 광범위한 경험적 평가에서 SkillOpt는 6개의 벤치마크(질의응답, 스프레드시트, 문서 분석, 수학, 의사결정 과제), 7개의 목표 모델, 3가지 실행 환경(직접 채팅, Codex, Claude Code)에 걸친 52개의 모든 (모델, 벤치마크, 환경) 셀에서 최고 또는 동등한 성능을 달성했으며, 인간 작성, 일회성 LLM, Trace2Skill, TextGrad, GEPA, EvoSkill 중 가장 강력한 기준선을 평균 5.4포인트로 능가합니다. GPT-5.5 기준으로 직접 채팅 환경에서 무스킬 정확도를 평균 23.5포인트, Codex 에이전트 루프 내에서 24.8포인트, Claude Code 내에서 19.1포인트 향상시키며, 구체적으로는 SearchQA에서 77.7에서 87.3으로, SpreadsheetBench에서 41.8에서 80.7로, OfficeQA에서 33.1에서 72.1로 상당한 절대 성능 개선을 달성했습니다. 흥미롭게도 최적화된 스킬 아티팩트는 훈련 설정을 넘어 놀라운 전이 특성을 보여주는데, GPT-5.4에서 훈련된 스프레드시트 스킬이 모든 더 작은 GPT 변형을 개선하고, Codex에서 훈련된 스킬이 Claude Code로 59.7포인트 향상을 달성하며, 수학 벤치마크 간 긍정적 이득을 얻는 것으로 나타났습니다. 이러한 결과들은 컴팩트한 자연어 스킬이 모델 가중치를 수정하지 않으면서도 관련 모델, 실행 환경, 유사 작업 전체에서 재사용 가능한 도메인 적응 계층으로 실질적으로 작용할 수 있음을 시사하며, 에이전트 기반 시스템의 확장 가능하고 효율적인 배포를 위한 새로운 패러다임을 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.