EconSkills: 실시간 경제 데이터를 다루는 웹 에이전트의 스킬 전이 및 검색 연구
EconSkills: Studying Skill Transfer and Retrieval for Web Agents on Live Economic Data
웹 에이전트(agent)는 동일한 사이트를 다시 방문하는 경우가 많지만, 대부분의 평가는 이전의 성공적인 상호작용에서 학습된 절차를 버립니다. 본 연구에서는 검증된 EconWebArena 궤적을 실시간 경제 데이터 검색을 위한 매개변수화된 표준 운영 절차로 증류한 스킬 라이브러리 및 평가 프레임워크인 EconSkills를 소개합니다. 각 스킬은 원본 인스턴스 값을 플레이스홀더로 대체하면서 해당 스킬의 범위, 탐색 절차, 사이트별 지침, 검증 확인 및 복구 단계를 기록합니다. EconSkills는 두 가지 질문을 분리하여 다룹니다. 즉, 알려진 관련 절차가 미확인 태스크로 전이되는지 여부와, 에이전트가 라이브러리에서 스킬을 선택할 때도 이러한 이점을 유지할 수 있는지 여부입니다. 통제된 전이 실험에서 매칭된 스킬은 스킬이 없는 프롬프트(prompt) 방식에 비해 성공률을 향상시키며, 쌍을 이룬 성공 사례에서 더 적은 단계를 필요로 합니다. 평가된 프롬프트 형식 하에서 매개변수화된 스킬 프롬프트는 그에 상응하는 원본 궤적 프롬프트보다 실질적으로 우수한 성능을 보입니다. 전체 50개 스킬 라이브러리를 사용할 경우, 검색 성능은 전반적으로 스킬 없는 기준선(baseline)과 대등한 수준을 보이며 직접적인 패밀리 매칭이 있는 태스크에서 가장 우수한 성능을 발휘하지만, 다른 태스크에서의 근사 매칭이 이러한 이득을 상쇄합니다. 브라우저 궤적 분석을 통해 절차적 지침이 포털별 탐색을 단축시키는 시점과 시맨틱 검증이 여전히 필요한 시점을 추가로 식별합니다. 이러한 결과는 재사용 가능한 경제 웹 절차가 태스크 인스턴스 전반에 걸쳐 전이될 수 있음을 규명하며, 매칭 인지적 선택 및 컨텍스트 제공을 위한 구체적인 설계 목표를 제공합니다.