PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.16861v2cs.RO

ReinforceGen: 자동화된 데이터 생성과 강화학습을 활용한 하이브리드 스킬 정책

ReinforceGen: Hybrid Skill Policies with Automated Data Generation and Reinforcement Learning

장기 수평(long-horizon) 조작은 로보틱스 분야에서 오랫동안 해결되지 않은 과제였습니다. 우리는 ReinforceGen을 제안합니다. 이 시스템은 작업 분해, 데이터 생성, 모방 학습, 동작 계획을 결합하여 초기 솔루션을 구성하고, 강화학습 기반 미세조정(fine-tuning)을 통해 각 구성 요소를 개선합니다. ReinforceGen은 먼저 작업을 여러 개의 지역화된 스킬(skill)로 분할하며, 이 스킬들은 동작 계획(motion planning)을 통해 연결됩니다. 스킬과 동작 계획 목표는 10개의 인간 시연으로 생성된 데이터셋에서 모방 학습으로 훈련된 후, 온라인 적응과 강화학습을 통해 미세조정됩니다. Robosuite 데이터셋에서 벤치마크 평가 시, ReinforceGen은 가장 높은 리셋 범위 설정에서 비주모터(visuomotor) 제어를 사용하는 모든 작업에 대해 80%의 성공률을 달성합니다. 추가적인 어블레이션 연구(ablation study)를 통해 미세조정 방식이 평균 89%의 성능 향상에 기여함을 확인했습니다. 마지막으로, ReinforceGen은 실세계 평가에서도 미세조정을 통한 유의미한 성능 향상을 보여줍니다. 추가 결과 및 영상은 https://reinforcegen.github.io 에서 확인할 수 있습니다.

arXiv:2607.08662v1cs.CL

WebSwarm: 심층-광범위 웹 검색을 위한 재귀적 다중 에이전트 오케스트레이션

WebSwarm: Recursive Multi-Agent Orchestration for Deep-and-Wide Web Search

WebSwarm은 단일 ReAct 에이전트의 컨텍스트 제약과 기존 다중 에이전트 시스템의 재귀적 깊이 한계를 극복하기 위해, 추론 시 작업 분해·재귀 확장·에이전트 협업을 동적으로 구성하는 점진적 재귀 위임 프레임워크를 제안한다. 각 검색 노드가 로컬 목표와 검색 모드를 결합해 자체 해결 또는 하위 노드 위임을 선택하며, BrowseComp-Plus, WideSearch, DeepWideSearch, GISA 벤치마크에서 단일·다중 에이전트 기준 모델을 일관되게 능가함을 실험으로 검증했다.

arXiv:2607.06283v1cs.AI

적응형 에이전트 스킬 검색을 위한 태스크 분해 기반 리랭킹

Task Decomposition-Guided Reranking for Adaptive Agent Skill Retrieval

에이전트 스킬 선택의 의미적 모호성 문제를 해결하기 위해 SkillReranker는 태스크와 스킬을 각각 서브태스크·상태 시퀀스로 구조화 파싱한 뒤, 중간 태스크 상태를 노드, 후보 스킬을 엣지로 삼는 방향성 비순환 실행 그래프를 구성하여 동적으로 스킬 집합을 선정하는 추론 시점 리랭킹 프레임워크다. ALFWorld와 ScienceWorld에서 세 가지 백본 LLM으로 실험한 결과, 기존 스킬 선택 베이스라인 대비 태스크 성능 향상과 함께 환경 상호작용 단계 및 토큰 소비가 감소함을 확인했다.

arXiv:2606.18051v1cs.CL

LLM 에이전트를 위한 조합적 스킬 라우팅: 분해, 검색, 구성

Compositional Skill Routing for LLM Agents: Decompose, Retrieve, and Compose

LLM 에이전트는 점점 외부 스킬(재사용 가능한 도구 명세)에 의존하고 있지만, 실제 작업은 종종 하나를 선택하는 것이 아니라 여러 스킬을 조합하는 것을 요구한다. 이를 Compositional Skill Routing 문제로 형식화한다. 복잡한 사용자 쿼리와 대규모 스킬 라이브러리가 주어졌을 때, 쿼리를 원자적 하위 작업으로 분해하고, 각 하위 작업에 적합한 스킬을 검색하며, 실행 가능한 계획을 구성한다. SkillWeaver를 제안한다. 이는 LLM 작업 분해기, FAISS 인덱싱을 갖춘 bi-encoder 스킬 검색기, 의존성 인식 방향성 비순환 그래프(DAG) 플래너를 결합한 분해-검색-구성 프레임워크이다. 평가를 위해 CompSkillBench를 도입한다. 이는 공개 MCP 생태계에서 수집한 24개 기능 카테고리에 걸친 2,209개의 실제 MCP 서버 스킬에 대한 300개의 조합적 쿼리로 구성된 벤치마크이다. 실험 결과, 작업 분해 품질이 주요 병목임을 밝힌다. 표준 LLM 분해는 단계 수준에서 34.2%의 카테고리 재현율에 불과하다. 이를 해결하기 위해 Iterative Skill-Aware Decomposition(SAD)를 제안한다. 이는 분해를 이용 가능한 스킬과 반복적으로 정렬하는 검색-증강 피드백 루프이다. SAD는 단일 반복에서 분해 정확도를 51.0%에서 67.7%로 향상시킨다(+32.7%, Wilcoxon p < 10^-6). DA 조건부 분석은 올바른 세분성이 효과적인 검색의 전제 조건임을 확인한다(DA=1일 때 CatR@1이 34%에서 41%로 상승). SkillWeaver는 컨텍스트 윈도우 소비를 99% 이상 줄이며, 전이 실험은 일반화를 확인한다(검색 풀에 대상 카테고리가 없는 경우에도 상대적 DA 이득 +35.6%).