대규모 언어 모델(LLM) 에이전트는 복잡한 작업에서 놀라운 성과를 보여주었으나, 종종 개별적으로 동작하며 과거의 경험으로부터 학습하지 못합니다. 기존의 메모리 기반 방법들은 주로 원시 궤적(raw trajectory)을 저장하는데, 이는 종종 중복되고 노이즈가 많습니다. 이는 에이전트가 일반화에 필수적인 고수준의 재사용 가능한 행동 패턴을 추출하는 것을 방해합니다. 본 논문에서는 자동 스킬 발견과 재귀적 진화를 통해 원시 경험과 정책 개선 사이의 간극을 좁히는 프레임워크인 SkillRL을 제안합니다. 우리의 접근 방식은 경험 기반 증류 메커니즘을 도입하여 계층적 스킬 라이브러리인 SkillBank를 구축하고, 일반 및 작업별 휴리스틱을 위한 적응형 검색 전략과 강화학습(RL) 과정에서 스킬 라이브러리가 에이전트의 정책과 함께 공진화(co-evolve)할 수 있도록 하는 재귀적 진화 메커니즘을 제공합니다. 이러한 혁신은 토큰 사용량을 크게 줄이면서 추론 유용성을 향상시킵니다. ALFWorld, WebShop 및 7개의 검색 증강 작업에 대한 실험 결과는 SkillRL이 최고 성능(SOTA)을 달성하여 강력한 베이스라인을 15.3% 이상 능가하고 작업 복잡성이 증가함에도 견고성을 유지함을 보여줍니다. 코드는 https://github.com/aiming-lab/SkillRL 에서 확인할 수 있습니다.
ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)는 로봇 제어 프로그램을 자율적으로 작성·개선하면서 검증된 수정 사항을 재사용 가능한 스킬 라이브러리로 축적하는 지속적 학습 시스템이다. 닫힌 루프 실행 엔진, 진화적 탐색, 그리고 성장하는 스킬 라이브러리를 결합하여 LIBERO-Pro에서 최대 77%, Robosuite 양팔 핸드오버에서 72% 향상을 달성하였으며, 제로샷 미지 태스크 일반화와 sim-to-real 전이 가능성도 입증하였다.
장기·다중 세션 LLM 에이전트에서 축적된 경험 관리 병목을 다루기 위해, 상호작용 추적에서 재사용 가능한 지식을 추출하는 에이전트 메모리와 스킬 발견 연구를 에피소드 메모리(5–20×)부터 서술적 규칙(1,000×+)까지 압축률이 증가하는 단일 축인 Experience Compression Spectrum(경험 압축 스펙트럼)으로 통합하는 프레임워크를 제안한다. 20개 이상 시스템을 이 스펙트럼에 매핑한 결과 모두 고정된 압축 수준에서만 동작하고 적응적 교차 수준 압축(missing diagonal)을 지원하는 시스템은 없으며, 두 커뮤니티 간 교차 인용률은 1% 미만으로 나타났다.
Extracting skills from multi-agent offline dataset improves learning efficiency via sharing task-invariant coordination skills among tasks. In settings where tasks occur sequentially and the space of skills grows exponentially, existing approaches that rely on heuristically designed and fixed-sized skill libraries struggle to resolve the problem of distributional shift and interference, facing catastrophic forgetting and plasticity loss. To address this problem and endow agents with the ability to continually discover and reuse coordination skills in open-environment, we propose COMAD, a principled framework for Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse. We first discover skills from mixed multi-agent behavior data with an auto-encoder to transform coordination knowledge into reusable coordination skills. Then we construct a skill-augmented policy learning objective with multi-head architectures, explicitly guiding the advantage function with reusable skills identified via a density-based reusability estimator. Theoretical analysis shows our method approximates the optimum of a continual skill discovery problem. Empirical results across diverse MARL benchmarks show that COMAD continually expands its skill library to mitigate interference, achieving superior forward and backward transfer for task streams compared to multiple baselines.