명시적 3D 재구성 없이 이미지로부터 직접 수행하는 6-자유도(6-DoF) 궤적 계획을 위한 SE(3) 신경 포텐셜 필드
SE(3) Neural Potential Fields for 6-DoF Trajectory Planning Directly from Images Without Explicit 3D Reconstruction
한국어 초록
어수선한 환경(clutter)에서 6-자유도(6-DoF) 파지 자세(grasp pose)에 도달하려면 충돌이 없는 궤적이 필요하며, 기존에는 장면을 3D로 재구성하고 그 재구성 안에서 계획을 수립하는 방식으로 이를 얻었으나, 이는 정확도와 연산 비용을 대가로 치른다. 이미지로부터 직접 학습된 포텐셜 필드(potential field)는 이러한 의존성을 제거하지만, 인공 포텐셜 필드(artificial potential field)의 고전적인 약점을 그대로 물려받는다: 인력(attractive)과 척력(repulsive) 기울기(gradient)가 상쇄되는 지점에서 하강 경로가 장애물을 우회하지 못하고 스치듯 지나가며, 목표에 도달하지 못하고 정체될 수 있다. 우리는 자세가 주어진(posed) RGB 이미지로부터 학습되고, 학습 중 동일한 이미지로부터 복원한 자유 공간(free space)을 통과하는 파지점까지의 측지 거리(geodesic distance)인 내비게이션 함수(navigation function)로 지도(supervise)되는 SE(3) 신경 포텐셜 필드를 제시하며, 이는 두 가지 실패 모두를 제거한다. 두 개의 테이블탑 장면에서, UR10 로봇으로 실행한 장애물로 막힌 시작 지점들로부터, 이 필드는 모든 시작 지점에서 파지점 3cm 이내로 수렴하며 실행되는 모든 경로가 실제 정답(ground-truth) 기하 구조에 대해 충돌이 없는 반면, 이미지 지도만 사용한 경우는 각각 25%와 0%에 그친다. 평균 여유 거리(clearance)는 1cm 미만에서 8.6-8.8cm로 상승하고, 로봇팔 링크 접촉은 실행된 구성(configuration)의 20.6-50.4%에서 2.7-5.5%로 감소한다. 실제 실행된 파지 성공률은 두 장면에서 각각 90.0%와 40.0%이며, 남은 실패는 필드가 아니라 데카르트 실행기(Cartesian executor)의 거부에 기인한다. 계획 수립에는 약 2초가 소요되는데, 동일한 이미지의 재구성에 대한 RRT*의 67-133초와 비교된다. 다만 공통의 오프라인 실험 환경(harness)에서는 두 방법이 비슷한 수준이며, 실제 배포 시 발생하는 마진(margin)은 계획기(planner)의 복잡도가 아니라 밀집 재구성(dense reconstruction)에 대한 충돌 검사 비용에서 비롯된다.
원문 초록
Reaching a 6-DoF grasp pose in clutter requires a collision-free trajectory, conventionally obtained by reconstructing the scene in 3D and planning inside that reconstruction, at the cost of its accuracy and compute. Potential fields learned directly from images remove that dependency but inherit the classical weakness of artificial potential fields: where attractive and repulsive gradients cancel, the descent grazes the obstacle instead of going around it, and can stall short of the goal. We present an SE(3) neural potential field learned from posed RGB images and supervised with a navigation function, the geodesic distance to the grasp through free space recovered from those same images during training, which removes both failures. On two tabletop scenes, from obstacle-blocked starts executed on a UR10, the field converges within 3 cm of the grasp from every start and every path it executes is collision-free against the ground-truth geometry, against 25% and 0% under image supervision alone; mean clearance rises from under a centimeter to 8.6-8.8 cm and arm-link contacts fall from 20.6-50.4% to 2.7-5.5% of executed configurations. Executed grasp success is 90.0% and 40.0% on the two scenes, the residual failures being refusals of the Cartesian executor rather than of the field. Planning takes about 2 s against 67-133 s for RRT* on a reconstruction of the same images, though under a common offline harness the two are comparable: the deployed margin is the cost of collision-checking a dense reconstruction, not planner complexity.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24864v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RiverVLN: 무인 수상정을 위한 위상 기반 시간적 비전-언어 항법
RiverVLN: Phase-Grounded Temporal Vision--Language Navigation for Unmanned Surface Vehicles
비전-언어 항법(VLN)은 주로 실내 및 지상 로봇을 위해 발전해 왔으며, 여기서는 언어를 종종 정적인 목표로 다룰 수 있고 동작은 이산적이거나 거의 순간적인 행동으로 근사된다. 이러한 가정은 무인 수상정(USV)에서는 성립하지 않는다. 강 항해는 관성과 제한된 기동성 하에서 연속적인 운동을 요구하고, 장기 지시는 희소하고 시각적으로 모호한 해상 랜드마크를 통해 실행되어야 한다. 본 논문은 우리가 아는 한 연속적인 강 항행 하의 장기 USV VLN을 위해 설계된 최초의 벤치마크인 RiverVLN과, USV를 위한 위상 기반 시간적 항법 프레임워크 PGT-NAV를 제안한다. PGT-NAV는 전체 지시를 동작에 직접 매핑하는 대신, 이를 시각적으로 검증 가능한 의미적 위상(phase)의 순서화된 시퀀스로 변환하고, 그라운딩된 시각 및 운동 증거를 통해 활성 위상을 온라인으로 유지한다. 이 명시적 의미적 진행 상태는 시각-운동 이력 및 위상별 그라운딩과 융합되어 여섯 개의 국소 SE(2) 자세 증분을 예측한다. 결과 궤적은 predict-execute-re-observe 루프에서 실행되며, 선박은 W3를 향해 항행하고 위상과 그라운딩을 갱신한 뒤, 맵 기반 안전 층을 통해 재계획한다. 실험 결과 PGT-NAV는 GNM 스타일 및 ViNT 스타일 베이스라인 대비 재귀적 위치 및 방향 드리프트를 상당히 줄였으며, Unity-ROS 폐루프 항법에서 평균 성공률 0.79를 달성했다. 보지 못한 다리 개방 시험과 실세계 USV 실험은 위상 기반 표현이 통제된 평가에서 실제 USV 배치로 전이됨을 추가로 보여준다.
StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA
StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses
자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.
비전-언어 내비게이션을 위한 이중-뇌 최소 충분 표현
Towards Dual-Brain Minimal Sufficient Representation for Vision-Language Navigation
연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 자기 중심(egocentric) 관측에 언어를 그라운딩하고, 보지 못한 장면에서 계획을 세울 것을 요구한다. 최근의 멀티모달 대규모 모델과 월드 모델 기반 방법들이 내비게이션을 개선했지만, 종종 과도한 작업 무관 세부 정보를 보존하여 일반화를 약화시키고 계산 부담을 증가시킨다. 우리는 최소 충분성 원칙(Principle of Minimal Sufficiency)에 기반한 내비게이션 프레임워크인 BrainNav를 제안한다. BrainNav는 세 가지 구성 요소로 이루어진다: 환경 노이즈를 억제하기 위해 지시(instruction) 인식 선택적 지각을 구현하는 Logical Anchor Model, 이산적 언어적 의도와 연속 잠재 역학을 효율적으로 동기화하면서 중복 정보를 걸러내는 컴팩트한 교차 모달 병목 역할을 하는 Minimalist Constraint Alignment 모듈, 그리고 응축된 저랭크(low-rank) 잠재 공간 내에서 행동 조건부 상태를 예측하는 Compression World Model. 이러한 모듈들은 의미적 의도와 공간 지각을 정렬하여 복잡한 작업에서 에이전트의 견고성과 효율성을 향상시킨다. 실험 결과 BrainNav는 R2R-CE val-unseen에서 SR/SPL 기준으로 이전 SOTA 대비 2.0% / 1.0%, RxR-CE val-unseen에서 0.94% / 0.78% 개선을 보였다. 이 결과는 최소 충분한 월드 표현이 견고한 VLN을 위한 효과적인 기반을 제공함을 시사한다.
미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론
Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination
비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.
기하학 유도 토큰 탐색을 활용한 마스크 생성 모션 플래닝
Masked Generative Motion Planning with Geometry-Guided Token Search
생성형 모션 플래너(generative motion planner)는 일반적으로 초기 생성을 위해 학습된 궤적 사전 분포를 사용하며, 테스트 시점의 복구는 국소적인 연속 개선(refinement)에 맡깁니다. 본 논문에서는 학습된 사전 분포를 효율적인 병렬 생성에서 구조적 복구로 확장하는 마스크 생성 모션 플래닝(Masked Generative Motion Planning, MGMP)을 소개합니다. 마스크 생성 트랜스포머는 이산 궤적 후보들을 병렬로 생성하며, 기하학 유도 토큰 탐색(Geometry-Guided Token Search, GGTS)은 장면 기하학을 활용하여 수정할 위치와 평가할 사전 분포 기반 대안을 타겟팅합니다. 이를 통해 개선 과정을 이산 모션 대안에 대한 효율적인 탐색으로 전환하여, 국소적 궤적 변형을 넘어 경로 수준의 재구성을 가능하게 합니다. MGMP는 Ring Maze에서 96%의 성공률을 달성하고 Kuka의 통제된 경로 무효화(Controlled Route Invalidation)에서 82%의 복구 성공률을 기록하여, 가장 강력한 외부 베이스라인을 각각 23%포인트 및 25%포인트 앞섰습니다. 나아가 보지 못한 배치, 추가 장애물, 보지 못한 기하학적 형태, 단일 및 이중 팔 플래닝, 그리고 실제 Baxter 작업으로도 일반화됩니다.
NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기
NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime
장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.