PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20631v2cs.AI

에이전트 스킬 활용: 스킬 중개 LLM 에이전트를 위한 아키텍처 패턴과 참조 아키텍처

Harnessing Agent Skills: Architectural Patterns and a Reference Architecture for Skill-Mediated LLM Agents

CONTEXT: Agent skills package reusable behavioural guidance and resources that large language model agents load or apply during a run. Within the agent harness, agent skill harnessing comprises connected architectural responsibilities that govern which skills enter a run, which actions they can cause, and how their use is recorded and informs revision. OBJECTIVES: We identify architectural patterns for agent skill harnessing and organise their responsibilities into a reference architecture that makes these connections explicit. METHODS: A multivocal literature review covered 36 practitioner systems and 51 academic papers; we consolidated practices into patterns and derived the reference architecture from patterns, source evidence, and architectural reasoning. We evaluated the reference architecture by mapping eight systems and applying it in Deep Agents and Hermes Agent. RESULTS: Ten patterns cover skill supply and activation, skill declarations and execution authority, verification and recording of skill use, and run evidence feeding repair and governed revision. The reference architecture organises their responsibilities into four layers (Supply Chain, Mediation, Execution Control, Evidence & Feedback) and two cross-cutting substrates, separating permission determination from enforcement and routing persistent revisions through acceptance. Mapping eight systems showed the first three layers broadly realised and 14 of 15 partial or unestablished ratings in Evidence \& Feedback. Applying the architecture in Deep Agents and Hermes Agent turned requirements into checks that exposed a shell route outside the file-tool rules and a preview--apply mismatch. CONCLUSION: The patterns and reference architecture support comparing implementations and turning requirements into responsibility allocations and checks.

arXiv:2610.01506v1cs.AI

MCRI: 에이전트 스킬 분석 및 평가를 위한 4차원 프레임워크

MCRI: A Four-Dimensional Framework for Analyzing and Evaluating Agent Skills

에이전트가 단일 도구 시스템에서 모듈형 복합 아키텍처로 진화함에 따라, 스킬은 능력 개발 및 배포를 위한 중요한 메커니즘이 되고 있습니다. 그러나 학계에는 스킬을 체계적으로 분석하고 평가하기 위한 구조화된 프레임워크가 부족합니다. 본 연구에서는 정보 획득(information gain)과 행동 제약(behavioral constraint)에 기반하여 4차원 MCRI 프레임워크를 제안하고, 이를 대규모 언어 모델(LLM) 기반 평가 방법인 MCRI-Eval로 구체화합니다. 우리는 OpenClaw 스킬 허브의 63,812개 공개 스킬과 BigCodeBench, BFCL-Fundamental, Mind2Web에 걸친 58,275회의 스킬 조건부 모델 실행을 활용하여 MCRI-Eval을 평가합니다. MCRI-Eval 점수는 커뮤니티 인기도 신호와 양의 상관관계를 보이며, 평가된 방법 중 가장 높은 다운스트림 순위 일치도를 달성합니다. 또한 MCRI-Eval은 세 벤치마크 모두에서 top-1 스킬 선택 능력을 향상시킵니다. 각 벤치마크의 가장 강력한 기준선과 비교했을 때, MCRI-Eval이 선택한 스킬은 BigCodeBench, BFCL-Fundamental, Mind2Web에서 다운스트림 성능 순위가 각각 17.7, 22.8, 19.6 백분위수 포인트 상승했습니다. 이러한 결과는 MCRI-Eval이 비용이 많이 드는 실행 기반 평가를 수행하기 전에 유망한 스킬의 우선순위를 정할 수 있는 유용한 사전 실행 신호를 제공함을 보여줍니다.

arXiv:2607.22529v1cs.CL

Skill Self-Play: 공동 진화 스킬로 LLM 역량의 프론티어를 확장하기

Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills

LLM 학습은 수동 설계 및 어노테이션에서 상호작용 기반 자기 진화로 전환되고 있다. 그러나 기존 자기 진화 방법들은 작업 다양성과 검증 신뢰성 사이의 근본적인 딜레마에 직면한다. 환경에 구속된 방법은 정밀한 피드백을 얻지만 학습을 좁은 도메인에 한정하고, 개방형 자기 생성은 작업 공간을 넓히지만 신뢰할 수 있는 검증이 부족하여 오해의 소지가 있는 보상이 학습 루프를 오염시킨다. 우리는 에이전트 스킬이 이러한 긴장을 완화하는 강력한 중간 지점임을 확인한다. 각 스킬은 특정 시나리오에서 깊고 검증 가능한 실행을 보장하는 반면, 스킬 간 동적 라우팅은 개방형 작업 다양성을 유지한다. 이 통찰을 활용하여, 우리는 제안자(proposer), 해결자(solver), 동적 스킬 컨트롤러로 구성된 공동 진화 프레임워크인 Skill Self-Play(Skill-SP)를 제안한다. 강화학습 루프를 통해 조율되며, 이 구성 요소들은 지속적인 셀프 플레이 루프에서 공동 진화한다. 제안자는 동적으로 샘플링된 스킬을 조건으로 한 도전적인 작업을 생성하고, 해결자는 역량 경계를 확장하기 위해 후보 해결책을 탐험하며, 스킬 컨트롤러는 실행 피드백을 수집하여 스킬 라이브러리를 업데이트하고 확장한다. 이러한 상호작용적 공동 진화는 구조화된 검증과 개방형 탐험 사이의 격차를 효과적으로 메운다. 도구 사용 및 추론 벤치마크에 대한 실증 평가는 견고한 진화 엔진으로서 Skill-SP가 유능한 백본의 성능 상한을 지속적으로 밀어 올리는 동시에, 초기에 정렬되지 않은 모델들의 놀라운 성과 전환을 촉진함을 보여준다. 우리 코드는 https://github.com/Qwen-Applications/skill-self-play 에서 이용할 수 있다.

arXiv:2607.20999v1cs.AI

워크플로우 국소화 메커니즘 학습: 구조화된 에이전트 스킬을 위한 귀속 기반 수리 및 지식 재사용

Workflow-Localized Mechanism Learning: Attribution-Guided Repair and Knowledge Reuse for Structured Agent Skills

에이전트 스킬(Agent Skills)은 고정된 언어 모델 에이전트를 위해 재사용 가능한 절차적 지식을 외부 아티팩트로 패키징하지만, 기존 옵티마이저는 워크플로우에서 실패가 발생한 위치, 어떤 메커니즘이 원인인지, 그리고 서드파티 스킬의 관련 지식을 로컬에서 어떻게 재사용해야 하는지를 함께 해결하지 못한다. 본 연구는 워크플로우 국소화 메커니즘 학습(WML)을 제안한다. WML의 노드-메커니즘 귀속(Node-Mechanism Attribution)은 실패한 워크플로우 노드, 관련 메커니즘, 그리고 가장 작은 유효 수정 대상을 식별하며, 단일 메커니즘 결함은 L3 리소스로, 메커니즘 간 관계적 결함은 L2 구성 프로토콜로 라우팅한다. 이어서 6개 모듈로 구성된 워크플로우 기반 스킬 최적화(WGSO) 루프가 출처(provenance) 및 범위(scope)를 고려한 서드파티 지식을 선택하고, 제한된 패치를 적용하며, 후보를 평가하고, 검증된 결과를 옵티마이저 측 메모리에 저장한다. SpreadsheetBench에서 WML은 DeepSeek과 Qwen3.6-Flash 각각 90.33 +/- 1.53 및 74.67 +/- 3.51의 Hard Accuracy를 달성한다. 추가 최적화 없이 학습된 스킬은 WikiTableQuestions로 전이되어 각각 84.00 +/- 2.00 및 83.00 +/- 2.00의 Denotation Accuracy를 기록한다. Compiler-Supported50에서 WML은 가장 높은 hard-PASS율과 성공 작업당 최저 비용을 모두 달성한다. 컴파일된 실행은 직접 SkillAgent 대비 토큰과 호출 수를 크게 줄이면서도 대부분의 성공 작업을 유지한다. 코드와 아티팩트는 https://github.com/xiaolin9595/workflow-localized-mechanism-learning 에서 제공된다.

arXiv:2607.10534v1cs.AI

에이전트 스킬의 층간 정렬 불일치 탐지: 점진적 로딩 인식 대조 학습 접근법

Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approach

대규모 언어 모델(LLM) 에이전트는 자연어 메타데이터, 절차적 지침, 실행 시 리소스를 런타임 사용을 위해 패키징하는 재사용 가능한 아티팩트인 에이전트 스킬(Agent Skills)을 통해 점점 더 확장되고 있다. 오픈소스 스킬 마켓플레이스가 확장됨에 따라 사용자와 에이전트는 서드파티 스킬을 선택하기 위해 간략한 메타데이터에 점점 더 의존하게 되어, 스킬의 설명과 실제 동작 간의 불일치를 탐지하기 어려워졌으며, 우리는 이 문제를 층간 정렬 불일치(cross-layer misalignment)라 부른다. 이 문제를 해결하기 위해, 우리는 에이전트 스킬의 계층 구조를 모델링하고 층간 일관성을 학습함으로써 정렬 불일치를 탐지하는 LLM 기반 프레임워크인 점진적 로딩 인식 계층적 대조 학습(PL-HCL, Progressive Loading-Aware Hierarchical Contrastive Learning)을 제안한다. 264,000개 이상의 오픈소스 스킬로 구성된 정규화 코퍼스와 인간 검증 챌린지 세트를 활용하여, PL-HCL은 평가된 LLM 백본 전반에 걸쳐 적응되지 않은 베이스라인의 Macro-F1 약 0.45에서 0.87–0.89로 향상시켰다. 이 접근법은 사용자와 운영자를 위한 효과적인 스크리닝 도구를 제공하며, 계층화된 디지털 아티팩트의 불일치 탐지를 위한 설계 원칙을 제시한다.

arXiv:2606.20659v1cs.AI

스킬 커버리지: 에이전트 스킬을 위한 테스트 적절성 지표

Skill Coverage: A Test Adequacy Metric for Agent Skills

에이전트 스킬은 다양한 작업과 실행 컨텍스트에 걸쳐 대규모 언어 모델(LLM) 에이전트를 안내하는 재사용 가능한 절차적 지식을 인코딩한다. 기존 평가는 주로 작업 수준 결과를 통해 스킬을 평가하지만, 작업 성공만으로는 스킬의 어느 부분이 실행되었는지, 어느 부분이 아직 검증되지 않았는지 알 수 없다. 우리는 검증 대상을 스킬 아티팩트로 삼는 테스트 적절성 지표인 스킬 커버리지를 제안한다. 우리의 접근법은 스킬 문서에서 관찰 가능한 스킬 행동 제약을 추출하고, 에이전트 궤적(trajectory)이 각 제약을 실행하고 평가하기에 충분한 증거를 제공하는지 측정한다. 스킬 커버리지는 이진적인 커버/비커버 판정을 사용하며, 이는 문서화된 행동에 추가적인 결과 레이블을 부여하지 않고, 해당 행동이 충분한 관찰 가능 증거와 함께 실행되었는지 보고한다. 스킬 커버리지를 SkillsBench에 적용한 결과, 기존 벤치마크 실행은 스킬 행동 제약의 39.90~43.98%만을 커버하는 것으로 나타나, 현재 벤치마크 작업이 문서화된 스킬 가이드의 상당 부분을 검증하지 못하고 있음을 시사한다. 이러한 결과는 작업의 성공적 완료가 스킬 아티팩트의 적절한 테스트를 의미하지 않음을 보여주며, 스킬 커버리지가 에이전트 스킬이 얼마나 철저히 테스트되는지를 측정하는 지표임을 부각한다.

arXiv:2606.01139v3cs.AI

SkillRevise: 추적 조건화 스킬 수정을 통한 LLM 작성 에이전트 스킬 개선

SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

콜드 스타트에서 불완전한 초기 LLM 에이전트 스킬의 행동적 약점을 보완하기 위해 SkillRevise는 실행 증거로 결함을 진단하고 수리 원칙 메모리를 검색해 실행에 고정된 수정을 반복 적용하는 실행 기반 프레임워크를 제안한다. 3개 벤치마크와 5개 LLM 평가에서 원샷 기준선을 크게 능가해 SkillsBench 성공률을 36.05%에서 61.63%로 높였으며, 수정된 스킬은 다른 실행기와 작업 환경에도 전이된다.

arXiv:2606.17819v1cs.SE

대규모 에이전트 스킬 평가 프레임워크

A Framework for Evaluating Agentic Skills at Scale

에이전트 스킬—LLM 에이전트 능력을 강화하는 구조화된 재사용 가능한 지식 산출물—은 산업계에서 빠르게 채택되고 있지만, 이들의 도메인 간 영향과 상용·오픈소스 모델 전반에 걸친 사용은 여전히 충분히 연구되지 않았으며, 개별 스킬을 평가할 수 있는 재사용 가능한 방법론은 존재하지 않는다. 본 연구에서는 스킬 작성자가 중요하다고 판단하는 스킬의 측면을 엄격하게 평가하기 위해 현실적인 과제를 구성할 수 있게 하고, 해당 과제를 해결함으로써 스킬의 유용성을 추정하는 평가 프레임워크를 제시한다. 또한 우리의 평가 접근법을 500개의 실제 스킬에 대규모로 적용하여, 스킬 내용에서 파생된 1,000개의 과제와 인스트럭션 준수 및 목표 달성 채점 루브릭을 생성하였다. 이 지표들을 사용하여, 독점 및 오픈소스 모델을 포함한 19개의 에이전트-모델 구성이 과제에서 어떻게 수행되는지 평가하였다. 결과는 모델이 스킬에 인코딩된 지시를 얼마나 충실히 따르는지에 따라 크게 달라지며, 이로 인해 성능 향상에도 상당한 차이가 나타남을 보여준다. 또한 스킬에 대한 접근은 스킬 없는 설정과 비교하여 모델 행동을 크게 바꾸며, 이는 LLM 에이전트에 의견이 반영된(opinionated) 워크플로를 인코딩하는 핵심 메커니즘을 제공함을 보여준다. 에이전트 스킬에 관한 후속 연구를 지원하기 위해 평가 데이터셋을 공개한다.

arXiv:2606.11543v1cs.AI

SkillJuror: 에이전트 스킬 구성이 런타임 행동에 미치는 영향 측정

SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior

LLM 에이전트의 스킬(Skill) 조직 방식이 런타임 행동에 미치는 영향을 측정하는 SkillJuror 프레임워크를 제안하며, 점진적 공개(Progressive Disclosure) 방식이 평탄한 기준선 대비 리소스 활용을 증가시키고 성능을 향상시킴을 입증합니다.

arXiv:2606.06893v1cs.AI

워크플로우-투-스킬: 라우팅-워크플로우-시맨틱스-어태치먼트 분해를 통한 스킬 생성

Workflow-to-Skill: Skill Creation via Routing-Workflow-Semantics-Attachments Decomposition

대규모 언어 모델(LLM) 에이전트는 절차적 지식을 인코딩하기 위해 스킬(Skill)에 점점 더 의존하고 있지만, 고품질 스킬을 직접 작성하는 데는 여전히 높은 비용이 든다. 본 논문은 데모, 에이전트 궤적, 도구 실행 추적, 실행 로그 등 이질적인 상호작용 증거로부터 스킬을 자동으로 구성하는 방법을 연구한다. 추적-투-스킬(trace-to-skill) 구성은 단순한 요약 태스크가 아님을 주장하는데, 이는 추적 데이터가 단편적이고 중복적이며 드물지만 안전에 중요한 동작을 누락할 수 있기 때문이다. 이를 해결하기 위해, 본 논문은 스킬을 워크플로우 구조, 실행 시맨틱스(Semantics), 런타임 어태치먼트(Attachments)로 분해하는 워크플로우 지향 중간 표현인 RWSA를 제안한다. RWSA는 태스크 분해, 제어 흐름, 검증, 안전성, 롤백, 상태 관리를 포착한다. RWSA를 기반으로, 추적을 분할하고 로컬 스킬 초안을 유도하며 공유 구조를 정렬하고 분기를 조정하면서 증거 및 신뢰도 어노테이션을 보존하면서 중복성을 압축하는 프레임워크 W2S를 제안한다. 70개 스킬에 대한 실험에서 W2S는 요약 및 프롬프팅 기반 베이스라인 대비 행동 재현 일관성을 10.5% 향상시켰으며, 이는 추적을 압축 가능한 텍스트가 아닌 실행 가능한 런타임 명세로 다루어야 할 필요성을 강조한다.