Teach-and-Repeat: 모바일 화면 데모에서 운영 지식을 정확히 추출하여 GUI 에이전트 역량 강화
Teach-and-Repeat: Accurately Extracting Operational Knowledge from Mobile Screen Demonstrations to Empower GUI Agents
다양한 모바일 UI 설계에서 작동을 정확히 유추하는 기존 비전-언어 모델(VLM)의 한계를 극복하기 위해, 데모 비디오에서 키프레임을 추출하여 단계별 조작 지식(operational knowledge)으로 변환하는 Teach VLM을 제안합니다. 생성된 지식을 하위 에이전트의 절차적 참조 자료로 활용하는 Teach-and-Repeat 패러다임을 통해 작업 성공률을 유의미하게 향상시킵니다.