PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02508v1cs.AI

점진적 시각 계획을 결합한 월드 액션 모델링

World Action Modeling with Progressive Visual Planning

월드 액션 모델(WAM)은 초기 관측값과 지시문으로부터 미래의 시각적 역학(visual dynamics)과 행동(action)을 공동으로 예측함으로써 로봇 제어를 위한 유망한 패러다임으로 부상했습니다. 그러나 밀집된 비디오 롤아웃을 생성하는 것은 비효율성이 매우 높기 때문에 기존 WAM은 장기(long-horizon) 예측에 어려움을 겪습니다. 최근 일부 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하여 이 문제를 해결하고자 하지만, 이러한 접근 방식은 목표를 향해 나아가는 점진적 과정을 간과합니다. 본 논문에서는 행동과 순서화된 희소 시각 하위 목표(sparse visual sub-goals) 시퀀스를 함께 예측하여, 전체 작업 수행 과정 동안 행동 생성을 뒷받침할 명시적인 시각적 가이던스를 제공하는 점진적 월드 액션 모델인 ProWAM을 제안합니다. 하위 목표 예측은 대규모 행동 미포함 비디오(action-free videos)로부터 학습될 수 있어 비디오 백본이 행동 정책으로부터 복잡한 시각적 계획 부담을 덜어줄 수 있으므로, 이 설계는 자연스럽게 확장(scaling)됩니다. 효율적인 행동 생성을 위해 ProWAM은 단 한 번의 비디오 백본 순전파(forward pass)를 실행하여 희소 하위 목표 피처를 캐싱함으로써, 반복적인 전체 비디오 생성을 제거하고 재계획 중에는 경량화된 행동 디노이징만을 요구합니다. 광범위한 평가를 통해 ProWAM은 우수한 분포 외(OOD) 강건성을 달성함을 보여줍니다. 시뮬레이션 벤치마크에서 LIBERO-Plus(85.8%) 및 무작위화된 RoboTwin(75.7%)에서 최고 성능(SOTA)을 새로 기록하며 가장 강력한 기준선(baseline) 대비 최대 +35.9%의 상대적 향상을 보였습니다. RoboCasa365에서는 48.1%의 성공률과 까다로운 Composite-Unseen 분할에서 18.2%를 달성하여 종합 4위를 차지했습니다. 결정적으로 제로샷(zero-shot) 실제 환경 실험에서 ProWAM은 70.0%의 성공률을 달성하여 새로운 환경에서 가장 강력한 기준선 대비 +15.0%포인트(55.0%에서 70.0%로, +27.3% 상대적 향상) 능가했습니다. 이러한 결과는 폐루프(closed-loop) 제어를 위한 진행 상태 기반 시각적 선견(visual foresight)의 가치를 입증합니다. 저희 프로그램은 https://sii-ferenas.github.io/ProWAM-page 에서 확인할 수 있습니다.

arXiv:2606.26217v1cs.LG

Fast LeWorldModel

Fast LeWorldModel

시각적 계획에서 LeWorldModel(LeWM)의 반복적 단일 단계 잠재 롤아웃이 계산 비용과 누적 오류를 키우는 문제를, 행동 접두 문맥(action prefix)을 병렬로 예측하는 Fast LeWorldModel(Fast-LeWM)이 대체한다. 여러 태스크에서 LeWM 대비 평균 성공률을 높이면서 계획 시간을 크게 줄이고, 개방 루프 잠재 손실과 그 지평선 증가 속도도 완화한다.