스킬 커버리지: 에이전트 스킬을 위한 테스트 적절성 지표
Skill Coverage: A Test Adequacy Metric for Agent Skills
에이전트 스킬은 다양한 작업과 실행 컨텍스트에 걸쳐 대규모 언어 모델(LLM) 에이전트를 안내하는 재사용 가능한 절차적 지식을 인코딩한다. 기존 평가는 주로 작업 수준 결과를 통해 스킬을 평가하지만, 작업 성공만으로는 스킬의 어느 부분이 실행되었는지, 어느 부분이 아직 검증되지 않았는지 알 수 없다. 우리는 검증 대상을 스킬 아티팩트로 삼는 테스트 적절성 지표인 스킬 커버리지를 제안한다. 우리의 접근법은 스킬 문서에서 관찰 가능한 스킬 행동 제약을 추출하고, 에이전트 궤적(trajectory)이 각 제약을 실행하고 평가하기에 충분한 증거를 제공하는지 측정한다. 스킬 커버리지는 이진적인 커버/비커버 판정을 사용하며, 이는 문서화된 행동에 추가적인 결과 레이블을 부여하지 않고, 해당 행동이 충분한 관찰 가능 증거와 함께 실행되었는지 보고한다. 스킬 커버리지를 SkillsBench에 적용한 결과, 기존 벤치마크 실행은 스킬 행동 제약의 39.90~43.98%만을 커버하는 것으로 나타나, 현재 벤치마크 작업이 문서화된 스킬 가이드의 상당 부분을 검증하지 못하고 있음을 시사한다. 이러한 결과는 작업의 성공적 완료가 스킬 아티팩트의 적절한 테스트를 의미하지 않음을 보여주며, 스킬 커버리지가 에이전트 스킬이 얼마나 철저히 테스트되는지를 측정하는 지표임을 부각한다.