PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.19523v2cs.AI

EconSkills: 실시간 경제 데이터를 다루는 웹 에이전트의 스킬 전이 및 검색 연구

EconSkills: Studying Skill Transfer and Retrieval for Web Agents on Live Economic Data

웹 에이전트(agent)는 동일한 사이트를 다시 방문하는 경우가 많지만, 대부분의 평가는 이전의 성공적인 상호작용에서 학습된 절차를 버립니다. 본 연구에서는 검증된 EconWebArena 궤적을 실시간 경제 데이터 검색을 위한 매개변수화된 표준 운영 절차로 증류한 스킬 라이브러리 및 평가 프레임워크인 EconSkills를 소개합니다. 각 스킬은 원본 인스턴스 값을 플레이스홀더로 대체하면서 해당 스킬의 범위, 탐색 절차, 사이트별 지침, 검증 확인 및 복구 단계를 기록합니다. EconSkills는 두 가지 질문을 분리하여 다룹니다. 즉, 알려진 관련 절차가 미확인 태스크로 전이되는지 여부와, 에이전트가 라이브러리에서 스킬을 선택할 때도 이러한 이점을 유지할 수 있는지 여부입니다. 통제된 전이 실험에서 매칭된 스킬은 스킬이 없는 프롬프트(prompt) 방식에 비해 성공률을 향상시키며, 쌍을 이룬 성공 사례에서 더 적은 단계를 필요로 합니다. 평가된 프롬프트 형식 하에서 매개변수화된 스킬 프롬프트는 그에 상응하는 원본 궤적 프롬프트보다 실질적으로 우수한 성능을 보입니다. 전체 50개 스킬 라이브러리를 사용할 경우, 검색 성능은 전반적으로 스킬 없는 기준선(baseline)과 대등한 수준을 보이며 직접적인 패밀리 매칭이 있는 태스크에서 가장 우수한 성능을 발휘하지만, 다른 태스크에서의 근사 매칭이 이러한 이득을 상쇄합니다. 브라우저 궤적 분석을 통해 절차적 지침이 포털별 탐색을 단축시키는 시점과 시맨틱 검증이 여전히 필요한 시점을 추가로 식별합니다. 이러한 결과는 재사용 가능한 경제 웹 절차가 태스크 인스턴스 전반에 걸쳐 전이될 수 있음을 규명하며, 매칭 인지적 선택 및 컨텍스트 제공을 위한 구체적인 설계 목표를 제공합니다.

arXiv:2605.12039v2cs.CL

SkillGraph: 진화하는 스킬 그래프를 통한 에이전트용 스킬-증강 강화학습

SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs

스킬 라이브러리는 대규모 언어 모델(LLM) 에이전트가 과거 상호작용의 경험을 재사용할 수 있게 하지만, 기존의 대부분의 라이브러리는 스킬을 고립된 항목으로 저장하고 의미론적 유사도만을 기준으로 검색합니다. 이는 조합적 태스크에서 두 가지 주요 문제를 야기합니다. 첫째, 에이전트는 관련 스킬뿐만 아니라 이들이 어떻게 상호 의존하고 서로를 기반으로 구축되는지도 파악해야 합니다. 둘째, 스킬을 언제 병합, 분할, 또는 제거해야 하는지 결정하기 위한 구조적 단서가 시스템에 부족하여 라이브러리 유지 관리도 어렵게 만듭니다. 우리는 재사용 가능한 스킬을 유향 그래프의 노드로 표현하고 유형화된 엣지로 선수 조건, 향상, 공존 관계를 부호화하는 프레임워크인 SKILLGRAPH를 제안합니다. 새로운 태스크가 주어지면 SKILLGRAPH는 개별 스킬뿐만 아니라 다단계 의사 결정을 안내할 수 있는 순서화된 스킬 서브그래프를 검색합니다. 이 그래프는 에이전트 궤적과 강화학습 피드백을 통해 지속적으로 업데이트되어 스킬 라이브러리와 에이전트 정책이 함께 개선될 수 있도록 합니다. ALFWorld, WebShop 및 7개의 검색-증강 QA 태스크에 대한 실험은 SKILLGRAPH가 메모리-증강 강화학습 방법들과 비교하여 최고 수준(state-of-the-art)의 성능을 달성하며, 특히 여러 스킬을 조합해야 하는 복잡한 태스크에서 큰 폭의 향상을 보임을 입증합니다.

arXiv:2609.08228v2cs.AI

SE-GoS: 대규모 스킬 라이브러리를 위한 자기진화형 스킬 그래프

SE-GoS: Self-Evolving Graph-of-Skills for Skill Library at Scale

대규모 언어 모델(LLM) 에이전트는 재사용 가능한 방대한 스킬 라이브러리를 활용합니다. 하지만 스킬 항목이 수천 개에 이르면 검색이 병목이 됩니다. Graph-of-Skills(GoS)는 유형화된 스킬 그래프에서 의존성을 고려한 번들을 검색하며, SkillDAG는 이러한 그래프가 실행 기반 구조를 온라인으로 축적할 수 있음을 보여줍니다. 그러나 두 연구 모두 실행 궤적(execution traces)을 새로운 작업으로 일반화되는 더 우수한 검색 그래프로 증류할 수 있는지는 다루지 않았습니다. 본 연구에서는 검색 파이프라인, 스킬 라이브러리, 모델을 고정한 채 실행 궤적으로부터 그래프를 유지관리하여 검색 그래프를 학습된 표현이 아닌 인덱스로 취급하는 \textbf{자기진화형 스킬 그래프(Self-Evolving Graph-of-Skills, SE-GoS)}를 제안합니다. SE-GoS는 세 가지 업데이트를 적용합니다. (1) 실행 증거로부터 관계를 유도하고 반복적인 성공적 동시 사용 후에만 회피(avoid) 엣지를 철회하는 \textbf{위상(topology)} 업데이트, (2) 지지되지 않는 의미적 엣지를 완만하게 감쇠하고 사용된 스킬로 들어오는 엣지를 강화하는 \textbf{엣지 가중치(edge-weight)} 업데이트, (3) 순위가 너무 낮게 매겨진 그래프 노드에 저장된 검색용 설명을 갱신하는 \textbf{노드 설명(node-description)} 업데이트입니다. SkillsBench에서 1회의 진화 라운드를 통해 평균 보상이 52.4\%에서 59.4\%로 향상되어 라이브러리 전체 로딩, 벡터 검색, 정적 GoS, SkillDAG보다 높은 성능을 보였으며, 이러한 순위 관계는 세 가지 백본 모델 모두에서 일관되게 나타났습니다. 진화된 그래프를 통한 검색은 라이브러리 전체를 로딩할 때 드는 입력 토큰의 약 3분의 2만 사용합니다. 진화 라운드를 반복하는 것은 추가적인 도움이 되지 않았습니다. 동일한 그래프는 이전에 본 적 없는 홀드아웃(held-out) 분할에서도 성능을 52.9\%에서 58.3\%로 개선하여, 축적된 정보가 궤적을 단순 암기하는 것이 아니라 전이됨을 확인했습니다. 따라서 모델 학습, 검색 알고리즘 변경, 스킬 내용 수정, 또는 어떤 스킬이 관련되어 있는지 모델이 직접 판단하는 과정 없이도 실행 경험만으로 스킬 그래프를 개선할 수 있습니다.

arXiv:2606.29315v1cs.AI

Hierarchical Experimentalist Agents

Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.