PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.14211v5cs.AI

ASH: 긴 호흡의 세계에서 스스로 연마하는 에이전트

ASH: Agents that Self-Hone in Long-Horizon Worlds

긴 호흡(long-horizon)의 시각운동(visuomotor) 작업은 AI에서 여전히 근본적인 도전 과제입니다. 기존 방식들은 수작업으로 설계된 보상(reward)이나 행동 라벨이 지정된 시연(demonstration) 데이터에 의존하는데, 둘 다 확장성이 없기 때문입니다. 본 논문에서는 보상 형성(reward shaping)이나 전문가의 어노테이션 없이 라벨이 없고 노이즈가 있는 인터넷 비디오로부터 긴 호흡의 정책을 학습하는 에이전트 시스템인 ASH를 소개합니다. ASH는 자기 개선(self-improvement) 루프를 따릅니다. 에이전트가 막히면 자신의 궤적으로부터 역동역학 모델(Inverse Dynamics Model, IDM)을 학습하고, 이 IDM을 활용해 관련 인터넷 비디오로부터 지도(supervision) 정보를 추출합니다. ASH는 비지도 학습을 사용해 대규모 인터넷 비디오에서 핵심 순간을 식별하고 이를 장기 기억으로 유지하여 긴 호흡의 문제를 해결할 수 있도록 합니다. 수 시간에 걸친 계획 수립이 요구되는 상호보완적인 두 환경, 즉 턴제 RPG인 Pokemon Emerald와 실시간 액션 어드벤처 게임인 The Legend of Zelda: The Minish Cap에서 ASH를 평가합니다. 두 게임 모두에서 행동 복제(behavioral cloning), 검색 증강(retrieval-augmented), 제로샷(zero-shot) 파운데이션 모델 기준선(baseline)들은 정체되는 반면, ASH는 8시간의 평가 전반에 걸쳐 지속적으로 진행을 이어갑니다. Pokemon Emerald에서 가장 강력한 기준선이 평균 9.3/12개의 마일스톤에 머무르고 The Legend of Zelda에서는 7.8/12개에서 막히는 반면, ASH는 각각 평균 11.2/12개 및 9.9/12개의 마일스톤에 도달합니다. 본 연구는 자기 개선 에이전트가 긴 호흡의 세계에서 학습하기 위한 확장 가능한 해법임을 입증합니다.

arXiv:2601.21718v3cs.LG

When Does Predictive Inverse Dynamics Outperform Behavior Cloning?

행동 복제(BC)보다 예측적 역동역학 모델(PIDM)이 우수한 성능을 보이는 이유를 이론적으로 규명한 연구로, PIDM이 미래 상태 조건화를 통해 분산을 줄이되 예측 편향과 분산을 추가로 도입하는 트레이드오프를 분석하였다. 2D 내비게이션 태스크에서 BC가 PIDM 대비 최대 5배 더 많은 데모를 필요로 하며, 고차원 시각 입력의 3D 게임 환경에서도 BC가 66% 이상 더 많은 샘플을 요구함을 실증하였다.