SkillGraph: 진화하는 스킬 그래프를 통한 에이전트용 스킬-증강 강화학습
SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs
스킬 라이브러리는 대규모 언어 모델(LLM) 에이전트가 과거 상호작용의 경험을 재사용할 수 있게 하지만, 기존의 대부분의 라이브러리는 스킬을 고립된 항목으로 저장하고 의미론적 유사도만을 기준으로 검색합니다. 이는 조합적 태스크에서 두 가지 주요 문제를 야기합니다. 첫째, 에이전트는 관련 스킬뿐만 아니라 이들이 어떻게 상호 의존하고 서로를 기반으로 구축되는지도 파악해야 합니다. 둘째, 스킬을 언제 병합, 분할, 또는 제거해야 하는지 결정하기 위한 구조적 단서가 시스템에 부족하여 라이브러리 유지 관리도 어렵게 만듭니다. 우리는 재사용 가능한 스킬을 유향 그래프의 노드로 표현하고 유형화된 엣지로 선수 조건, 향상, 공존 관계를 부호화하는 프레임워크인 SKILLGRAPH를 제안합니다. 새로운 태스크가 주어지면 SKILLGRAPH는 개별 스킬뿐만 아니라 다단계 의사 결정을 안내할 수 있는 순서화된 스킬 서브그래프를 검색합니다. 이 그래프는 에이전트 궤적과 강화학습 피드백을 통해 지속적으로 업데이트되어 스킬 라이브러리와 에이전트 정책이 함께 개선될 수 있도록 합니다. ALFWorld, WebShop 및 7개의 검색-증강 QA 태스크에 대한 실험은 SKILLGRAPH가 메모리-증강 강화학습 방법들과 비교하여 최고 수준(state-of-the-art)의 성능을 달성하며, 특히 여러 스킬을 조합해야 하는 복잡한 태스크에서 큰 폭의 향상을 보임을 입증합니다.