arXiv:2611.22610v1 cs.AI

EvoSkill-S1: 유전학에서 착안한 연산으로 재사용 가능한 스킬 진화시키기

EvoSkill-S1: Evolving Reusable Skills with Genetic-Inspired Operators

Yujun Wang, Jiqiang Li, Yinuo Lu, Jinhe Bi, Aniri, Wenxuan Ye, Boliang Liu, Sikuan Yan, Shuning Wang, Xuebing Zhou, S{\"o}ren Pirk, Hinrich Sch{\"u}tze, Yunpu Ma

제출 2026-11-18

한국어 초록

재사용 가능한 스킬은 언어 모델 에이전트가 문제 해결 경험을 축적해 다시 활용할 수 있게 한다. 그러나 기존 방법은 대부분 롤아웃을 통해 경험을 모으고 휴리스틱으로 성찰하는 간접적인 방식으로만 스킬 저장소를 개선한다. 그 결과 갱신 폭이 작거나 갱신을 충분히 제어하지 못하는 경우가 많다. 재사용 가능한 스킬 자체를 진화의 대상으로 삼는 강화학습 기반 프레임워크 EvoSkill-S1을 제시한다. 해결하기 어려운 실패 사례가 주어지면 부모 스킬을 골라 개정, 교차 개정, 변이, 이중 성찰, 교차 결합이라는 유전학 기반 연산 다섯 가지로 자식 스킬 후보를 만든다. 다운스트림 과제의 보상으로 스킬 진화 모델을 학습해 더 효과적인 자식 스킬을 생성한다. 평가기의 판단에 따라 도움이 되는 변경만 저장소에 반영한다. 상호 보완적 스킬 저장소 융합은 연산별로 만든 저장소를 통합해 서로 다른 실패 복구 양상을 활용한다. 절차형 스킬 인터페이스는 처음 보는 문제로의 전이를 지원한다. 보고한 모든 수학 및 코딩 벤치마크에서 EvoSkill-S1은 Qwen 계열과 GPT 계열 풀이 모델 모두에서 각각의 초기 스킬 저장소보다 성능이 높았으며, 상대 개선 폭은 최대 12.39%였다. 스킬을 직접 진화시키지 않는 외부 기준선 가운데 가장 우수한 방법과 비교하면 상대 개선 폭은 최대 20.39%였다.

원문 초록

Reusable skills allow language-model agents to accumulate and reuse problem-solving experience. However, most existing methods improve a skill bank only indirectly through rollout-driven accumulation and heuristic reflection, often resulting in shallow and weakly controlled updates. We present EvoSkill-S1, an RL-driven framework that instead treats reusable skills themselves as the direct objects of evolution. Given hard-negative failures, EvoSkill-S1 selects parent skills and transforms them into candidate child skills through five genetic-inspired operators: revision, cross-revision, mutation, dual-reflection, and crossover. Downstream task rewards train the skill evolver to generate more effective child skills, while evaluator-guided write-back selectively retains beneficial updates. Complementary Skill Bank Fusion consolidates operator-specific banks to exploit their distinct recovery patterns, while a Procedural Skill Interface supports transfer to unseen problems. Across all reported math and code benchmarks, EvoSkill-S1 improves the corresponding initialized skill banks under both Qwen and GPT-family solvers, with relative gains of up to 12.39%. Compared with the strongest external baseline without direct skill evolution, the largest relative improvement reaches 20.39%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22610v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.