모방에서 정렬로: 장거리 보도 내비게이션을 위한 인간 선호도 플로우 정책
From Imitation to Alignment: Human-Preference Flow Policies for Long-Horizon Sidewalk Navigation
한국어 초록
자율 장거리 보도 내비게이션은 로봇 음식 배달 및 보조 전동 휠체어와 같은 마이크로 모빌리티 응용에 필수적이다. 도로 자율 주행과 달리, 장거리 보도 내비게이션은 예측 불가능한 보도 지형과 보행자 사이를 정밀하게 조작해야 하며, 단일 단안 RGB 카메라만큼 가벼운 경량 지각 스택을 필요로 한다. 시연으로부터의 모방 학습(IL)은 실용적인 해결책을 제공하지만, 결과적인 자동 조종 정책은 오류 누적, 보도에서의 사회적 규범 준수 부족, 복잡한 상황을 처리하기 위한 반사실적 추론의 결함으로 인해 어려움을 겪는다. 이러한 문제를 해결하기 위해, 단안 RGB 카메라만을 사용하여 강건하고 효율적인 장거리 내비게이션 성능을 달성하는 지도 없는 내비게이션 정책인 FlowPilot을 소개한다. 먼저 대규모 로봇 플릿 데이터에 대한 정책 사전학습과 보도 내비게이션 행동의 다양하고 복잡한 다중 모드 분포를 포착하기 위해 행동 표현으로 앵커드 플로우 매칭(anchored flow matching)을 사용할 것을 제안한다. 모방과 정렬 사이의 간극을 좁히기 위해, 소량의 인간 개입 데이터로 정책을 조정하는 휴먼-인-더-루프(human-in-the-loop) 선호도 학습 방식을 추가로 설계한다. 이는 모델의 반사실적 추론과 보도에서의 사회적 규범 준수를 강화한다. 다양한 보도 환경에서 광범위한 시뮬레이션 및 실제 실험을 통해 FlowPilot을 평가한다. FlowPilot은 시뮬레이션에서 42%의 성공률과 66%의 경로 완주율을 달성하며, FlowPilot-HP는 베이스 모델 대비 IR을 40.0%, NIR을 52.1% 감소시켜 실제 환경에서의 강건성과 사회적 규범 준수를 추가로 개선한다.
원문 초록
Autonomous long-horizon sidewalk navigation is essential for micro-mobility applications such as robotic food delivery and assistive electronic wheelchairs. Unlike autonomous driving on the road, long-horizon sidewalk navigation requires precise maneuvering through unpredictable sidewalk terrains and pedestrians, with a lightweight perception stack as minimal as a single monocular RGB camera. While imitation learning (IL) from demonstrations offers a practical solution, the resulting autopilot policy often suffers from compounding errors, a lack of social compliance on sidewalks, and deficiencies in counterfactual reasoning to handle complex situations. To address these challenges, we introduce FlowPilot, a mapless navigation policy that achieves robust and efficient long-horizon navigation performance using only a monocular RGB camera. We first propose to use anchored flow matching as an action representation for policy pre-training on large-scale robot fleet data and to capture the diverse, complex, multimodal distribution of sidewalk navigation behaviors. To bridge the gap between imitation and alignment, we further design a human-in-the-loop preference learning scheme to tune the policy on a small amount of human intervention data. It strengthens the model's counterfactual reasoning and social compliance on sidewalks. We evaluate FlowPilot through extensive simulation and real-world experiments in diverse sidewalk environments. FlowPilot achieves 42% success rate and 66% route completion in simulation, while FlowPilot-HP further improves real-world robustness and social compliance, reducing IR by 40.0% and NIR by 52.1% relative to the base model.
요약
단안 RGB 카메라만을 사용하는 장거리 보도 내비게이션을 위해 anchored flow matching 기반 사전학습과 인간 개입 기반 선호도 학습을 결합한 FlowPilot을 제안한다. 이 방법은 모방 학습의 오류 누적 문제를 해결하고 반사실적 추론 및 사회적 규범 준수 능력을 강화하여 실제 환경에서 간섭률을 크게 낮췄다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12603v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
Diffusion-2BC: 자율주행 오프라인 행동 복제를 위한 확산 및 회귀 하이브리드 학습
Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving
행동 복제(Behavior Cloning)는 자율주행 정책 학습을 위한 오프라인 경로를 제공하지만, 하나의 관측에 대해 여러 유효한 행동이 존재할 수 있는 시연 데이터의 경우 평균 제곱 오차(mean-squared-error) 회귀와는 잘 맞지 않습니다. 확산 정책(Diffusion policy)은 조건부 다봉(multimodal) 행동 분포를 표현할 수 있지만, 제한된 데이터로부터 시각적 특징과 제어를 학습할 때 폐루프(closed-loop) 성능이 불안정할 수 있습니다. 본 논문에서는 공유된 시각적 인코더 상에서 확산 노이즈 제거(denoising) 목표와 보조 결정론적 행동 복제 손실을 결합한 Diffusion-2BC를 제안합니다. 보조 브랜치는 학습 중에만 사용되며, 추론은 확산 기반으로 유지됩니다. 제안된 방법은 통제된 Claw 환경과 버드아이뷰(bird's-eye-view) CARLA 내비게이션(경로 조건부 주행, 여러 교차로를 통과하는 무경로 내비게이션, Town01에서 Town02로의 교차 맵 평가 포함)에서 평가됩니다. Claw 태스크에서 Diffusion-2BC는 확산 기반 행동 복제 기준선 대비 약 10%, 표준 결정론적 행동 복제 대비 85% 평균 마스크 거리 오차를 줄였습니다. 무경로 CARLA에서 Diffusion-2BC는 Town01과 Town02 모두에서 평가 프로토콜 하에 주행이 종료되기 전까지 두 기준선보다 훨씬 더 먼 거리를 주행했습니다. 추가적인 정성적 롤아웃을 통해 뚜렷한 경로 선택이 확인되었으며, 제안된 확산 기반 에이전트의 다봉 행동을 보여주었습니다. 이러한 결과는 보조 회귀 신호가 통제된 벤치마크에서 다봉 예측을 보존하면서도 확산 행동 복제의 폐루프 신뢰성을 향상시킬 수 있음을 나타냅니다.
비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름
World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models
흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.
SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭
SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.
추론이 행동에 도움이 되는 순간: 비전-언어-행동 정책에서 사고의 연쇄 모니터링 및 조향
When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies
추론 기능이 활성화된 VLA(Vision-Language-Action) 정책은 행동을 설명하고 안내하는 것처럼 보이는 사고의 연쇄(CoT, Chain-of-Thought) 궤적을 드러내며, 이는 추론 모니터링 및 수정을 통한 런타임 안전성의 잠재적 인터페이스를 형성합니다. 본 연구에서는 이러한 인터페이스가 구체화된(embodied) 행동을 언제 개선할 수 있는지 평가하기 위한 두 가지 평가 축을 정의하고 구체화합니다. 하나는 생성 과정에서 신뢰할 수 없는 추론을 감지하고 개선할 수 있는지를 측정하는 수정 가능성(correctability)이며, 다른 하나는 추론 수정이 의도된 방향으로 행동상 의미 있는 변화를 만들어내는지를 측정하는 실행 가능성(actionability)입니다. 수정 가능성을 실현하기 위해, 부분적인 접두사로부터 최종 추론 정확도를 예측하고 이러한 추정치를 활용하여 동결된 VLA 정책의 추론 생성을 모니터링하고 선택적으로 조향하는 오프라인 학습 가치 모델인 TRUST(Token-level Reward for Utility-Steered Chain-of-Thought)를 도입합니다. 주행 VLA인 Alpamayo 1.5에서 TRUST는 88.9%의 정확도로 정확성을 모니터링하고 추론 정확도를 75.9%에서 90.0%로 향상시킵니다. AlpaSim의 기준선(baseline) 정의 고난도 서브셋에서 TRUST는 조향되지 않은 정책 대비 충돌률을 30.4%, 최대 궤적 오차를 11.5% 감소시켜 연산량을 맞춘 Best-of-4 기준선보다 우수한 성능을 보입니다. 조작 VLA인 DeepThinkVLA에서 TRUST는 파지 상태 주장의 정확도를 69.3%에서 90.2%로, 행동 선택 주장의 정확도를 68.8%에서 85.9%로 개선하지만, LIBERO-Plus에서의 폐루프(closed-loop) 태스크 성능은 대체로 변함없이 유지됩니다. 실증적 분석을 통해 Alpamayo 1.5에서는 의도와 일치하는 행동 효과가 나타나지만 DeepThinkVLA에서는 효과가 제한적임을 확인하여, 태스크 수준에서 나타난 서로 다른 결과를 해석하는 데 도움을 줍니다. 종합적으로 본 연구 결과는 추론 정확도의 향상이 구체화된 성능의 향상을 자동으로 의미하지는 않음을 보여주며, CoT를 런타임 안전 인터페이스로 활용할 때 수정 가능성과 실행 가능성을 함께 평가해야 할 필요성을 시사합니다.
NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델
NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.