에이전트 스킬의 층간 정렬 불일치 탐지: 점진적 로딩 인식 대조 학습 접근법
Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approach
대규모 언어 모델(LLM) 에이전트는 자연어 메타데이터, 절차적 지침, 실행 시 리소스를 런타임 사용을 위해 패키징하는 재사용 가능한 아티팩트인 에이전트 스킬(Agent Skills)을 통해 점점 더 확장되고 있다. 오픈소스 스킬 마켓플레이스가 확장됨에 따라 사용자와 에이전트는 서드파티 스킬을 선택하기 위해 간략한 메타데이터에 점점 더 의존하게 되어, 스킬의 설명과 실제 동작 간의 불일치를 탐지하기 어려워졌으며, 우리는 이 문제를 층간 정렬 불일치(cross-layer misalignment)라 부른다. 이 문제를 해결하기 위해, 우리는 에이전트 스킬의 계층 구조를 모델링하고 층간 일관성을 학습함으로써 정렬 불일치를 탐지하는 LLM 기반 프레임워크인 점진적 로딩 인식 계층적 대조 학습(PL-HCL, Progressive Loading-Aware Hierarchical Contrastive Learning)을 제안한다. 264,000개 이상의 오픈소스 스킬로 구성된 정규화 코퍼스와 인간 검증 챌린지 세트를 활용하여, PL-HCL은 평가된 LLM 백본 전반에 걸쳐 적응되지 않은 베이스라인의 Macro-F1 약 0.45에서 0.87–0.89로 향상시켰다. 이 접근법은 사용자와 운영자를 위한 효과적인 스크리닝 도구를 제공하며, 계층화된 디지털 아티팩트의 불일치 탐지를 위한 설계 원칙을 제시한다.