ConfAL-WM: 행동 조건부 월드 모델을 위한 신뢰도 기반 능동 학습
ConfAL-WM: Confidence-Guided Active Learning for Action-Conditioned World Models
한국어 초록
행동 조건부 월드 모델(action-conditioned world models)은 임바디드(embodied) 예측, 계획 및 합성 데이터 생성을 위한 중요한 기반이 되었으나, 새로운 태스크 및 장면 분포에서 발생하는 오차는 로봇 팔, 조작 대상 객체, 접촉 영역, 가려진 객체와 같은 국소적인 시공간 영역에 집중되는 경우가 많습니다. 본 논문에서는 임바디드 월드 모델의 사후 학습을 위한 신뢰도 기반 능동 학습(active learning) 프레임워크인 ConfAL-WM을 제안합니다. EnerVerse-AC(EVAC)를 기반으로 UNet 디코더 특징에 경량 신뢰도 프로브(probe)를 부착하고 잠재 공간에서 조밀한 신뢰도 맵(dense confidence map)을 예측합니다. 이러한 맵은 태스크, 프레임, 패치 수준 점수로 집계되어 데이터 예산 할당과 국소적 학습 강화를 가능하게 합니다. 제안하는 파이프라인은 프로브를 학습하고 소규모 타깃 도메인 서브셋에서 EVAC을 웜업합니다. 이후 EVAC-v1은 태스크 수준 데이터 획득 신호와 선택적인 프레임/패치 가중치 신호를 제공하며, 선택된 데이터로 학습되는 모든 모델은 재학습을 위해 원래의 사전학습된 EVAC 체크포인트에서 초기화됩니다. 기본 40% 데이터 예산을 적용한 RoboTwin2.0 실험 결과, 신뢰도 기반 선택이 사후 학습 품질을 향상시키는 동시에 조밀한 프레임 및 패치 가중치 부여가 스칼라 보상, 진행도, 심사자(judge) 기반 채점 베이스라인과 비교하여 상호보완적인 재구성 및 의미론적 성능 향상을 제공함을 보여줍니다. 본 연구의 간략한 시각적 개요는 https://ConfAL-WM.github.io 에서 확인할 수 있습니다.
원문 초록
Action-conditioned world models have become an important foundation for embodied prediction, planning, and synthetic data generation, but their errors under new task and scene distributions are often concentrated in localized spatiotemporal regions such as robot arms, manipulated objects, contact areas, and occluded objects. This paper presents ConfAL-WM, a confidence-guided active learning framework for post-training embodied world models. Building upon EnerVerse-AC (EVAC), we attach a lightweight confidence probe to UNet decoder features and predict dense confidence maps in the latent space. These maps are aggregated into task-, frame-, and patch-level scores, enabling data-budget allocation and localized training enhancement. Our pipeline trains the probe and warms up EVAC on a small target-domain subset. EVAC-v1 then supplies task-level acquisition and optional frame/patch weighting signals; all selected-data models are initialized from the original pretrained EVAC checkpoint for retraining. Experiments on RoboTwin2.0 at the default 40% data budget show that confidence-guided selection improves post-training quality, while dense frame and patch weighting offers complementary reconstruction and semantic gains compared with scalar reward, progress, and judge-based scoring baselines. A quick visual overview of this work is available at https://ConfAL-WM.github.io.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.25572v2
- arXiv:2608.25572v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FutureWorlds: 대안적 미래로부터 로봇 월드 모델 학습하기
FutureWorlds: Learning Robotic World Models from Alternative Futures
로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
3채널 점수 충돌에서의 통제된 정보 획득과 판단 보류
Controlled Acquisition and Abstention in Three-Channel Score Conflicts
오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.
촉각적 호기심을 통한 로봇 상호작용 유도
Tactile Curiosity Drives Robot Interaction
강화학습(RL)을 통해 로봇 조작 기술을 습득하는 것은 여전히 표본 효율성(sample efficiency)이 크게 떨어집니다. 가장 일반적인 강화학습 알고리즘은 새로운 전략을 발견하기 위해 무작위 행동 샘플링에 의존하므로, 조작 기술이 발현되는 접촉과는 거리가 먼 자유 공간에서의 움직임에 학습 예산의 대부분을 할당하게 됩니다. 모델 불일치나 인식론적 불확실성(epistemic uncertainty)에 기반한 기존 내재적 동기 부여 방법들은 등방성 노이즈보다 개선되었으나, 자유 공간에서의 불규칙한 움직임과 같이 기능적으로 무관한 전이의 불확실성에 대해서도 보상을 제공할 수 있습니다. 본 연구에서는 촉각 피드백이 탐험을 위한 자연스러운 신호를 제공한다고 주장하며, 감각 양식(sensory modalities) 전반에 걸쳐 모델 불확실성을 분해하고 호기심을 촉각 채널로 유도함으로써 촉각을 인식론적 불확실성 기반 탐험에 통합하는 프레임워크인 TacEx를 소개합니다. TacEx는 호기심을 촉각에 고정함으로써 로봇이 복잡한 접촉 동역학을 발견하도록 유도하여, 탐험 과정에서 과제 보상이나 전문가 시연 없이도 물체를 조작하고 파지(grasping)하는 법을 학습하도록 합니다. 이러한 촉각 주도형 호기심을 통해 수집된 상호작용 밀집 데이터셋은 추가적인 환경 상호작용 없이도 다운스트림 집기 및 놓기(pick-and-place) 정책의 오프라인 학습을 지원합니다. 나아가 우리는 촉각 주도형 탐험을 활용하여 비전-언어-행동(VLA) 모델을 사후 학습합니다. VLA는 초기에 촉각 피드백 없이 사전학습되었음에도 불구하고, TacEx를 통한 사후 학습은 매우 높은 표본 효율성을 유지하면서 다운스트림 성능을 실질적으로 향상시킵니다.
공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화
Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://ConfAL-WM.github.io