PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.02365v2cs.AI

Faster-WAM: 월드 액션 모델에 딥 액션 모듈이 필요한가?

Faster-WAM: Do World Action Models Need Deep Action Modules?

월드 액션 모델(World Action Model, WAM)은 사전학습(pre-training)된 비디오 모델을 기반으로 구축되며, 물리적 동역학에 그라운딩(grounding)된 비디오 모델의 표현은 행동 예측을 위한 자연스러운 토대를 제공합니다. 이러한 자연스러운 토대에도 불구하고, 많은 WAM은 여전히 높은 추론(inference) 지연 시간을 유발하고 제한된 로봇 시연 데이터에 과적합될 수 있는 깊고 매개변수(parameter)가 많은 행동 예측 모듈에 의존하여 실제 환경 적용성이 제한됩니다. 본 논문에서는 용량과 연산을 비디오 월드 모델에 집중시키는 한편, 경량 액션 전문가가 백본의 표현을 실행 가능한 로봇 행동으로 변환하도록 하는 월드 모델 중심의 원칙을 제안합니다. 우리는 세 가지 핵심 선택을 통해 이 원칙을 구현합니다. 첫째, 얕고 가벼운 액션 전문가가 모든 비디오 층(layer)의 표현에 접근할 수 있도록 하는 Lite KV-Fusion 기반의 Dock of Transformers(DoT), 둘째, 액션 전문가에 대한 월드 모델 전용 조건화, 셋째, 비디오 키(key)와 액션 쿼리(query) 간의 위치 정렬을 위한 retracted 1D-RoPE입니다. 우리는 단일 층 액션 전문가만을 갖춘 월드 모델 중심 WAM인 Faster-WAM을 통해 이 원칙을 검증합니다. 행동 전용 연산에 대한 이러한 제약에도 불구하고, Faster-WAM은 추가적인 임바디드 사전학습 없이도 LIBERO 및 RoboTwin 2.0에서 경쟁력 있는 제어 성능을 달성합니다. 또한 Fast-WAM 대비 약 $3.7\times$, $π_{0.5}$ 대비 약 $1.3\times$의 추론 속도 향상을 제공합니다. 월드 모델 중심 설계와 일관되게, Faster-WAM은 분포 변화(distribution shift) 하에서 더 뛰어난 일반화 능력을 보입니다. 동일한 LIBERO 학습(training) 정책이 LIBERO-Plus에서 $78.3\%$의 성공률을 달성하여 Fast-WAM과 LingBot-VA를 각각 $26.8$ 및 $8.8$ 퍼센트포인트 상회합니다. 마지막으로, 실제 로봇 실험을 통해 Fast-WAM에 필적하는 성공률을 달성하면서도 훨씬 낮은 추론 지연 시간과 더 짧은 작업 완료 시간을 입증합니다.

arXiv:2609.18462v5cs.CV

CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현

CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.

arXiv:2610.02508v1cs.AI

점진적 시각 계획을 결합한 월드 액션 모델링

World Action Modeling with Progressive Visual Planning

월드 액션 모델(WAM)은 초기 관측값과 지시문으로부터 미래의 시각적 역학(visual dynamics)과 행동(action)을 공동으로 예측함으로써 로봇 제어를 위한 유망한 패러다임으로 부상했습니다. 그러나 밀집된 비디오 롤아웃을 생성하는 것은 비효율성이 매우 높기 때문에 기존 WAM은 장기(long-horizon) 예측에 어려움을 겪습니다. 최근 일부 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하여 이 문제를 해결하고자 하지만, 이러한 접근 방식은 목표를 향해 나아가는 점진적 과정을 간과합니다. 본 논문에서는 행동과 순서화된 희소 시각 하위 목표(sparse visual sub-goals) 시퀀스를 함께 예측하여, 전체 작업 수행 과정 동안 행동 생성을 뒷받침할 명시적인 시각적 가이던스를 제공하는 점진적 월드 액션 모델인 ProWAM을 제안합니다. 하위 목표 예측은 대규모 행동 미포함 비디오(action-free videos)로부터 학습될 수 있어 비디오 백본이 행동 정책으로부터 복잡한 시각적 계획 부담을 덜어줄 수 있으므로, 이 설계는 자연스럽게 확장(scaling)됩니다. 효율적인 행동 생성을 위해 ProWAM은 단 한 번의 비디오 백본 순전파(forward pass)를 실행하여 희소 하위 목표 피처를 캐싱함으로써, 반복적인 전체 비디오 생성을 제거하고 재계획 중에는 경량화된 행동 디노이징만을 요구합니다. 광범위한 평가를 통해 ProWAM은 우수한 분포 외(OOD) 강건성을 달성함을 보여줍니다. 시뮬레이션 벤치마크에서 LIBERO-Plus(85.8%) 및 무작위화된 RoboTwin(75.7%)에서 최고 성능(SOTA)을 새로 기록하며 가장 강력한 기준선(baseline) 대비 최대 +35.9%의 상대적 향상을 보였습니다. RoboCasa365에서는 48.1%의 성공률과 까다로운 Composite-Unseen 분할에서 18.2%를 달성하여 종합 4위를 차지했습니다. 결정적으로 제로샷(zero-shot) 실제 환경 실험에서 ProWAM은 70.0%의 성공률을 달성하여 새로운 환경에서 가장 강력한 기준선 대비 +15.0%포인트(55.0%에서 70.0%로, +27.3% 상대적 향상) 능가했습니다. 이러한 결과는 폐루프(closed-loop) 제어를 위한 진행 상태 기반 시각적 선견(visual foresight)의 가치를 입증합니다. 저희 프로그램은 https://sii-ferenas.github.io/ProWAM-page 에서 확인할 수 있습니다.

arXiv:2608.22364v2cs.AI

WAM-OPD: 온-정책 증류를 통한 월드 액션 모델 사후 학습을 위한 비디오-액션 공동 지도

WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation

월드 액션 모델(World Action Model, WAM)은 미래 비디오와 로봇 액션을 모두 생성하여 사후 학습(post-training) 지도를 위한 두 가지 연결된 출력을 제공합니다. 사전 학습된 WAM은 실행 중에 마주치는 이력에 대해 더 강력한 교사(Teacher) 모델로부터 어떻게 학습할 수 있을까요? 본 논문에서는 학생(Student) 모델의 롤아웃(rollout) 이력을 수집하고 교사 모델에 쌍을 이루는 비디오 및 액션 타깃을 질의하는 WAM-OPD를 제시합니다. 학생 모델은 배포 시 1단계 비디오 및 액션 생성을 유지하면서 두 타깃 모두로부터 학습합니다. 12개의 RoboTwin 2.0 태스크 전반에서 WAM-OPD는 평균 성공률을 33.8%에서 65.7%로 향상시켰으며, 4개의 실제 로봇 태스크에서는 평균 성공률을 51.4%에서 64.6%로 끌어올렸습니다. 수집된 학생 모델의 이력을 고정한 상태에서, 비디오-액션 공동 지도는 세 가지 절제 연구 태스크 모두에서 가장 높은 관찰 성공률을 달성한 반면, 두 모달리티 중 어느 하나만 단독으로 사용해도 성능이 향상되었습니다. 교사 모델이 생성한 이력과의 별도 비교에서는 두 이력 출처 간에 태스크에 따른 차이가 있음을 확인했습니다. 이러한 결과는 배포 시의 샘플링 예산을 늘리지 않고도 WAM 정책을 개선하는 데 있어 쌍을 이루는 비디오-액션 지도의 유용성을 입증합니다.

arXiv:2609.40219v2cs.CV

과거 행동 궤적으로부터 스킬 학습하기: 월드 액션 모델을 위한 행동 경험 딕셔너리

Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models

월드 액션 모델(WAMs)은 시각적 역학 예측과 행동 생성을 결합하지만, 여러 조작 작업 전반에 걸친 행동 경험의 재사용을 명시적으로 지원하지는 않습니다. 나아가 기존 WAM은 불필요한 배경 요소가 핵심 시각 정보 추출을 방해하기 때문에, 목표 행동 예측을 유도할 수 있는 작업 간 기저 시맨틱 관계를 포착하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 과거의 물리적 행동 궤적을 공유된 행동 임베딩으로 인코딩하여 스킬 재사용을 지원하고 작업 간 관계를 모델링하는 새로운 행동 경험 딕셔너리(AED)를 개발합니다. 구체적으로, 먼저 시각적 관찰과 정렬되도록 과거 행동을 집계하고 사전학습된 행동 토크나이저를 사용해 AED에서 행동 임베딩을 검색합니다. 이후 크로스 어텐션(cross-attention)을 통해 풀링된 임베딩에 시각적 조건을 부여하고 이를 노이즈가 있는 행동 토큰 앞에 덧붙여 예측을 위한 상호작용 컨텍스트와 행동 의도를 제공합니다. 또한 행동과 관련된 움직임을 모델링하고 무관한 배경 단서에 대한 의존도를 낮추기 위해, 무작위 시간 간격에 따른 시각적 특징 변화 예측을 지도하는 동작 인식 전이 손실(motion-aware transition loss)을 도입합니다. 시뮬레이션 벤치마크와 실제 환경의 크로스 임바디먼트(cross-embodiment) 설정에서 수행한 실험을 통해 제안하는 AED의 유효성을 검증합니다. 프로젝트 코드는 https://github.com/JiahuaDong/AED 에서 확인할 수 있습니다.

arXiv:2609.27455v1cs.CV

잠재 진화 월드 액션 모델

Latent evolving World Action Model

월드 액션 모델(WAM)은 행동 생성과 환경 역학을 공동으로 모델링하며, 대부분 사전학습된 비디오 확산 모델(VDM) 위에 구축된다. VDM 기반 WAM에서는 관측이 먼저 VAE로 인코딩되고, 그 결과 압축 잠재(latent)가 대규모 비디오 확산 백본에서 처리되어 행동 생성에 효과적인 특징을 추출한다. 그러나 이 패러다임은 WAM 성능과 학습 비용을 대규모 비디오 생성 사전학습에 묶어 WAM의 효율성과 확장성을 제한한다. 본 논문에서는 WAM에서 시각 표현이 행동 생성에 미치는 영향을 이론적·실증적으로 조사한다. 결과에 따르면 Joint-Embedding Predictive Architecture(JEPA) 인코더의 예측 임베딩은 압축 VAE 잠재보다 행동 생성을 더 잘 지원하며, 인코더 비교에서 I-JEPA가 가장 우수했다. 이에 기반해 행동 생성을 JEPA 임베딩에 조건화하고, 비디오 확산 백본 없이 동일 공간에서 미래 임베딩을 예측해 환경 진화를 모델링하는 LeWAM을 제안한다. 또한 모방 학습(imitation learning)은 시연 행동과 맞추지만, 작은 행동 편차가 과제 성공에 크게 영향을 줄 수 있음에도 더 나은 행동과 열등한 행동을 구분하지 못함을 확인한다. 추가 환경 상호작용이나 리셋·안전에 필요한 인간 감독 없이 이 한계를 완화하기 위해, 시연에서 직접 선호 감독을 도출하는 오프라인 선호 정제 단계인 Demonstration-Guided DPO(DemoDPO)를 도입한다. 학습 가능 파라미터 0.4B만으로 LeWAM은 RoboTwin 2.0에서 평균 성공률 92.28%를 달성해 최신 VLA 및 WAM과 유사한 수준이며, 실제 조작 과제에서도 실용적 효과를 유지한다.