ASH: 긴 호흡의 세계에서 스스로 연마하는 에이전트
ASH: Agents that Self-Hone in Long-Horizon Worlds
긴 호흡(long-horizon)의 시각운동(visuomotor) 작업은 AI에서 여전히 근본적인 도전 과제입니다. 기존 방식들은 수작업으로 설계된 보상(reward)이나 행동 라벨이 지정된 시연(demonstration) 데이터에 의존하는데, 둘 다 확장성이 없기 때문입니다. 본 논문에서는 보상 형성(reward shaping)이나 전문가의 어노테이션 없이 라벨이 없고 노이즈가 있는 인터넷 비디오로부터 긴 호흡의 정책을 학습하는 에이전트 시스템인 ASH를 소개합니다. ASH는 자기 개선(self-improvement) 루프를 따릅니다. 에이전트가 막히면 자신의 궤적으로부터 역동역학 모델(Inverse Dynamics Model, IDM)을 학습하고, 이 IDM을 활용해 관련 인터넷 비디오로부터 지도(supervision) 정보를 추출합니다. ASH는 비지도 학습을 사용해 대규모 인터넷 비디오에서 핵심 순간을 식별하고 이를 장기 기억으로 유지하여 긴 호흡의 문제를 해결할 수 있도록 합니다. 수 시간에 걸친 계획 수립이 요구되는 상호보완적인 두 환경, 즉 턴제 RPG인 Pokemon Emerald와 실시간 액션 어드벤처 게임인 The Legend of Zelda: The Minish Cap에서 ASH를 평가합니다. 두 게임 모두에서 행동 복제(behavioral cloning), 검색 증강(retrieval-augmented), 제로샷(zero-shot) 파운데이션 모델 기준선(baseline)들은 정체되는 반면, ASH는 8시간의 평가 전반에 걸쳐 지속적으로 진행을 이어갑니다. Pokemon Emerald에서 가장 강력한 기준선이 평균 9.3/12개의 마일스톤에 머무르고 The Legend of Zelda에서는 7.8/12개에서 막히는 반면, ASH는 각각 평균 11.2/12개 및 9.9/12개의 마일스톤에 도달합니다. 본 연구는 자기 개선 에이전트가 긴 호흡의 세계에서 학습하기 위한 확장 가능한 해법임을 입증합니다.