NavWAM: 목표 조건 시각적 내비게이션을 위한 내비게이션 월드 액션 모델
NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation
한국어 초록
목표 조건 시각적 내비게이션(goal-conditioned visual navigation)에서는 로봇이 자신의 움직임이 미래의 자기 중심적(egocentric) 시야를 어떻게 바꾸고, 그 변화가 목표에 더 가까워지게 하는지를 예측하면서 부분 관측(partial observability) 하에서 행동해야 한다. 내비게이션 월드 모델(navigation world models)은 이러한 시각적 예지력(visual foresight)을 제공하지만, 여전히 예측된 미래를 폐루프(closed-loop) 제어로 변환하기 위해 외부 플래너가 필요한 예측 모듈에 그친다. 우리는 내비게이션 월드 액션 모델(Navigation World Action Model, NavWAM)을 제안한다. 이는 미래 관측, 목표 진행도(goal-progress) 값, 액션 청크(action chunks)를 공유 잠재(latent) 시퀀스로 표현하여 내비게이션 월드 모델 예측을 실행 가능한 행동으로 전환하는 diffusion-transformer 정책이다. 폐루프 동작을 결정하는 행동 및 가치(value) 목표와 미래 예측을 함께 학습함으로써, NavWAM은 시각적 예지력을 로봇 제어에 직접 활용할 수 있게 한다. 우리는 시뮬레이션 사전학습(pre-training)과 실제 로봇 적응(adaptation)을 통해 NavWAM을 구축하고, 플래닝 기반 월드 모델 및 대표적인 직접 내비게이션 정책과 비교하여 이미지 목표(image-goal) 내비게이션에서 이를 평가한다. 오프라인 벤치마크 및 폐루프 실제 로봇 배포 전반에 걸쳐, NavWAM은 CEM(Cross-Entropy Method) 스타일의 행동 탐색 없이 기본 정책 모드를 사용하면서도, 우리 평가에서 플래닝 기반 월드 모델 기준선 대비 성능이 향상된다. 프로젝트 페이지: https://dachii-azm.github.io/navwam/
원문 초록
Goal-conditioned visual navigation requires a robot to act under partial observability by anticipating how its motion will change the future egocentric view and whether that change brings it closer to the goal. Navigation world models provide such visual foresight, but they remain prediction modules that require an external planner to convert predicted futures into closed-loop control. We propose Navigation World Action Model (NavWAM), a diffusion-transformer policy that turns navigation world-model prediction into executable action by representing future observations, goal-progress values, and action chunks in a shared latent sequence. By learning future prediction jointly with the action and value targets that determine closed-loop behavior, NavWAM makes visual foresight directly usable for robot control. We build NavWAM through simulation pretraining and real-robot adaptation, and evaluate it on image-goal navigation against planning-based world models and a representative direct navigation policy. Across offline benchmarks and closed-loop real-robot deployment, NavWAM improves over planning-based world-model baselines in our evaluations while using the default policy mode without CEM-style action search. Project page: https://dachii-azm.github.io/navwam/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13494v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
토목 인프라 및 건축물의 협소한 개구부 통과 자율 무인 항공기 내비게이션을 위한 스파이킹 신경망 액터-크리틱 근접 정책 최적화 제어
Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings
제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.
EA-Nav: 체화 인식 기반 안전한 시각 내비게이션 정책 학습
EA-Nav: Learning Safe Visual Navigation Policies with Embodiment Awareness
교차 체화(cross-embodiment) 내비게이션은 체화 지능(embodied intelligence)의 핵심 과제이다. 체화의 차이로 인해 동일한 시각 관측이 서로 다른 에이전트(agent)에게는 서로 다른 행동을 의미할 수 있으며, 시각에만 의존할 경우 예측이 모호해진다. 기존 연구는 주로 강화학습에 의존하며, 이는 대규모 상호작용과 세심한 보상 설계를 요구하여 확장 가능한 사전학습(pre-training)과 실세계 적응을 지원하기 어렵게 만든다. 반면 모방 학습(imitation learning) 기반 접근법은 여전히 제한적이다. 이러한 과제를 해결하기 위해, 우리는 모듈형 다단계 설계를 갖춘 모방 학습 기반의 체화 인식 내비게이션 프레임워크를 제안한다. 사전학습 단계에서, 우리는 인터넷 동영상으로부터 교차 체화 내비게이션 데이터셋을 구성하고, 동일한 관측 하에서 행동 모호성을 줄이기 위해 체화 기하학(embodiment geometry)을 조건부 토큰(token)으로 도입한다. 미세조정 단계에서, 우리는 분리형(decoupled) 아키텍처 기반의 멀티모달 정보 주입 메커니즘을 설계한다. 구체적으로, 고위험 샘플을 생성하는 궤적 증강(trajectory augmentation) 전략을 설계하고, 이를 공간 지각(spatial perception)과 위험 인식(risk-aware) 보정(correction) 학습에 각각 사용하여, 안전한 내비게이션을 위해 체화 기하학을 명시적으로 통합한다. 실험 결과, 제안 방법은 서로 다른 체화 설정에서 내비게이션 성능을 효과적으로 향상시키며, 체화 내비게이션에 체화 기하학을 통합하는 것의 효과를 보여준다.
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
Robostral Navigate
Robostral Navigate
내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.
RENEW: 선호로부터 월드 모델 학습 및 모델 착취 복구를 향하여
RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences
월드 모델은 오프라인 강화학습(RL)에서 표본 효율을 높이고 고정된 데이터셋을 넘어 경험을 생성하기 위해 널리 사용된다. 그러나 데이터 커버리지가 얇은 영역에서는 모델 착취(model exploitation)에 취약하다. 기존 연구는 이를 더 많은 전문가 시연을 수집하거나(비용이 많이 들고, 위험하거나, 이용 불가능한 경우가 많음), 불확실한 영역을 피하는 보수적 알고리즘을 통해 해결했는데, 후자는 일반화를 제한한다. 우리는 대신 상상된 롤아웃(imagined rollouts)에 대한 인간 선호(human preferences)를 사용해 착취 문제를 직접 복구하는 방법을 제안하며, 인간이 심각한 역학(dynamics) 환각(hallucination)을 쉽게 발견할 수 있게 하는 강한 직관적 물리 지식을 활용한다. 이를 학습된 역학 모델 하에서 궤적 로그 우도(trajectory log-likelihoods)에 대한 Bradley-Terry 선호 손실(preference loss)인 Dynamics Learning from Human Feedback(DLHF)로 형식화한다. 안타깝게도 순진한(naive) DLHF는 표본 효율이 낮으므로, 인식론적 불확실성(epistemic uncertainty)을 사용해 모델이 가장 착취 가능한(exploitable) 지점에 파인튜닝(fine-tuning)을 집중하는 RENEW를 도입한다. Jumanji 및 고전 제어(classic control) 환경 여러 곳에서 평가한 결과, 순진한 DLHF는 과도한 선호 예산이 필요한 반면, RENEW는 표본 효율을 개선하고, 치명적 망각(catastrophic forgetting)을 제한하며, 사전학습(pretrained)된 월드 모델에서의 착취를 줄여 프레임워크를 실용적으로 만든다. 종합하면, 우리 결과는 선호가 월드 모델 역학을 직접 지도할 수 있다는 초기 증거를 제공하며, 오프라인 모델 기반 강화학습(model-based RL)에서 착취 문제를 해결하는 새로운 접근을 제시한다.
Atari Pong에서 월드 모델을 위한 개념 기반 공간 정규화
Concept-Guided Spatial Regularization for World Models in Atari Pong
월드 모델은 보통 모델 기반 강화학습(MBRL) 시스템의 구성 요소로 평가되지만, 월드 모델 자체는 단독으로 연구되는 경우가 드뭅니다. Atari Pong에서 다섯 가지 대표적인 시각적 월드 모델 에이전트인 DreamerV3, DIAMOND, TWISTER, Simulus, STORM을 조사합니다. 보고된 에이전트 성능과 일치하도록 각 학습 파이프라인을 재현한 뒤, 학습된 월드 모델을 고정하고 폐루프(closed-loop) 롤아웃 진단으로 평가합니다. 이는 해당 MBRL 에이전트와 별도로 학습된 정책이 각 고정 모델과 상호작용하고, 생성된 영상 궤적을 시각적·동역학적 오류 관점에서 검사하는 방식입니다. 다섯 모델 모두에서 롤아웃은 공 사라짐, 잘못된 공 움직임, 잘못된 공-패들 상호작용 등 명확한 실패를 포함합니다. 시각 궤적을 넘어, 고정된 월드 모델 내부에서만 새 정책을 전적으로 학습한 후 실제 환경에서 평가하는 픽셀 공간 제로샷 MBRL로 추가 평가합니다. 다섯 모델 모두에서, 그렇게 얻은 정책은 해당 원래 MBRL 학습 파이프라인에서 얻은 정책보다 실질적으로 낮은 성능을 보입니다. 그 격차는 DreamerV3에서 특히 큰데, 평균 리턴이 -5.5에서 -20.9로 떨어져 Pong의 최소 리턴인 -21에 근접합니다. Pong의 공과 같은 과제 핵심 개념에 대한 모델링이 불충분한 것이 이러한 실패에 기여할 수 있다고 가설을 세웁니다. 이에 분할된 개념 영역에 적용하는 보조 픽셀 재구성 손실인 Concept-Guided Spatial Regularization(CGSReg)을 제안합니다. 실험 결과 CGSReg는 DreamerV3, DIAMOND, TWISTER에서 폐루프 롤아웃과 픽셀 공간 제로샷 MBRL을 모두 개선합니다. 나머지 모델과 평가 지표에 따라 효과는 달라지며, CGSReg만으로는 모든 월드 모델 병목을 해결하지 못함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.