상호작용 궤적 마이닝을 통한 컴퓨터 사용 에이전트를 위한 SKILL.md 생성 자동화
Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining
명시적 스킬 라이브러리는 컴퓨터 사용 에이전트의 검사를 용이하게 하지만, 상호작용 데이터에서 다운스트림 정책을 개선할 수 있는 방식으로 이러한 라이브러리를 추출할 수 있는지는 여전히 불분명합니다. 본 연구에서는 GUI 궤적을 분할하고, 세그먼트를 후보 스킬로 클러스터링하며, 결과 주석을 통해 스킬 인식 정책을 학습시키는 3단계 파이프라인을 통해 이 문제를 조사합니다. 추출된 클러스터는 소스 벤치마크에서 높은 가독성을 보이며, 8개 클러스터 중 5개는 InteraSkill Workflows 레이블 대비 최소 0.95의 순도를 보였습니다. 그러나 가독성이 반드시 전이 성능을 보장하지는 않습니다. GRPO는 IW 스킬 단계 정확도를 18.5%에서 20.5%로만 개선하였고, BrowseComp+에서는 본질적인 변화가 없었으며, 주요 소스 도메인 메트릭에서는 사소한 빈도 사전(frequency priors)보다 낮은 성능을 보였습니다. 따라서 본 연구는 해당 방법론을 진단적 연구로 제시합니다. 궤적 마이닝은 검사 가능한 스킬 구조를 드러낼 수 있지만, 현재의 경계 감지기, 순서가 없는 세그먼트 표현, 오프라인 보상 모델은 신뢰할 수 있는 교차 도메인 정책 개선에는 불충분합니다.