어떤 지형이 더 나은가? 비포장도로 주행 가능성 순위 지정을 위한 VLM 프로토타입 기반 선호도 학습
Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking
한국어 초록
비전 기반 비포장도로 내비게이션에서 로봇은 회피해야 할 장애물뿐만 아니라 어떤 지형이 더 나은지도 파악해야 합니다. 첫 번째 문제는 여유 공간(freespace) 감지나 시맨틱 분할(semantic segmentation)로 처리됩니다. 두 번째 문제는 대개 주행 가능성 점수(traversability score)로 해결되지만, 이러한 점수에는 보편적인 정답(ground truth)이 존재하지 않아 인식이 시맨틱 클래스별로 미리 정의된 값이나 여유 공간 신뢰도에 의존하게 됩니다. 이러한 점수들은 특정 영역이 무엇인지를 나타낼 뿐, 로봇이 어떤 영역을 선호해야 하는지는 알려주지 못합니다. 이에 따라 본 연구에서는 이러한 선호도를 두 영역 간의 비교를 통해 지도(supervision)될 수 있는 가시적 지형 순서 지정인 시각적 주행 가능성 순위 지정(visual traversability ranking)으로 정식화합니다. 표준 어노테이션에는 선호도가 직접 라벨링되어 있지 않지만, 그 방향성이 내포되어 있습니다. 본 논문에서는 이러한 어노테이션을 정렬된 영역 쌍으로 변환하고, 동결된(frozen) 비전-언어 모델(VLM) 패치 토큰(token)에 작은 판독부(readout)를 이 쌍에 맞춰 적합시키는 TravPro를 제안합니다. 토큰은 고정된 프로토타입 뱅크로 한 번 클러스터링되며, 판독부는 프로토타입별 선호도 점수를 학습합니다. 그런 다음 판독부는 모든 패치에 적용되어 픽셀 단위 어노테이션 없이도 희소한 비교를 조밀한 선호도 유사 라벨(pseudo-label)로 변환하는 교사(teacher) 역할을 수행합니다. RGB 학생(student) 모델은 장애물과 배경을 순위 지정에서 제외하는 비지면(non-ground) 마스크와 함께 이 지도들을 조밀한 지형 선호도 맵으로 증류(distill)합니다. 5개의 미확인(unseen) 도메인에서 TravPro는 가장 강력한 기준선(baseline)의 0.783 대비 0.915의 평균 쌍별 정확도(mean pairwise accuracy)를 달성하여, 클래스별 수치로는 표현할 수 없는 노면 상태에 민감한 순서 지정을 생성합니다. 동일한 VLM과 동일한 지도 방식을 사용하더라도 VLM에 프롬프트(prompt)를 주고 지도를 조밀한 타깃으로 사용할 경우에는 이러한 순서가 도출되지 않으며, 중요한 것은 이들을 활용하는 방식입니다.
원문 초록
In vision-based off-road navigation, a robot needs to know not only which obstacles to avoid but also which terrain is better. The first is handled by freespace detection or semantic segmentation. The second is usually answered with a traversability score, but no universal ground truth exists for such a score, so perception falls back on a predefined value per semantic class or a freespace confidence. These scores say what a region is, not which region a robot should prefer. We therefore formulate this preference as visual traversability ranking, an ordering of visible terrain that can be supervised by comparisons between two regions. Standard annotations do not label preference, but they imply its direction. We present TravPro, which converts these annotations into ordered region pairs and fits a small readout on frozen vision--language model (VLM) patch tokens to these pairs. The tokens are clustered once into a fixed prototype bank, and the readout learns a preference score per prototype. The readout is then applied to every patch and serves as a teacher that turns sparse comparisons into dense preference pseudo-labels without pixel-wise annotation. An RGB student distills these maps into a dense terrain-preference map together with a non-ground mask that excludes obstacles and background from the ranking. On five unseen domains, TravPro reaches a mean pairwise accuracy of 0.915 against 0.783 for the strongest baseline, producing an ordering sensitive to surface condition that a per-class value cannot represent. The same VLM and the same supervision yield no such ordering when the VLM is prompted and the supervision is used as dense targets; what matters is how they are used.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23673v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
iAm.md: 미지의 개방형 어휘 도메인을 위한 에이전틱 자기성찰 기반 로봇 스킬 자가 평가
iAm.md: Robot Skill Self-Assessment through Agentic Introspection for Unknown Open-Vocabulary Domains
대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.
장기 객체 탐색을 위한 회고적 개방형 어휘 메모리
Retrospective Open-Vocabulary Memory for Long-Term Object Search
장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/
공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화
Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습
GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리
SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions
부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.
PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬
PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.