arXiv:1909.10239

Large Scale Joint Semantic Re-Localisation and Scene Understanding via Globally Unique Instance Coordinate Regression

Ignas Budvytis, Marvin Teichmann, Tomas Vojir, Roberto Cipolla

제출 2019-09-23

원문 초록

In this work we present a novel approach to joint semantic localisation and scene understanding. Our work is motivated by the need for localisation algorithms which not only predict 6-DoF camera pose but also simultaneously recognise surrounding objects and estimate 3D geometry. Such capabilities are crucial for computer vision guided systems which interact with the environment: autonomous driving, augmented reality and robotics. In particular, we propose a two step procedure. During the first step we train a convolutional neural network to jointly predict per-pixel globally unique instance labels and corresponding local coordinates for each instance of a static object (e.g. a building). During the second step we obtain scene coordinates by combining object center coordinates and local coordinates and use them to perform 6-DoF camera pose estimation. We evaluate our approach on real world (CamVid-360) and artificial (SceneCity) autonomous driving datasets. We obtain smaller mean distance and angular errors than state-of-the-art 6-DoF pose estimation algorithms based on direct pose regression and pose estimation from scene coordinates on all datasets. Our contributions include: (i) a novel formulation of scene coordinate regression as two separate tasks of object instance recognition and local coordinate regression and a demonstration that our proposed solution allows to predict accurate 3D geometry of static objects and estimate 6-DoF pose of camera on (ii) maps larger by several orders of magnitude than previously attempted by scene coordinate regression methods, as well as on (iii) lightweight, approximate 3D maps built from 3D primitives such as building-aligned cuboids.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24409v2cs.CV공통 태그 Pose Estimation, Autonomous Driving, Scene Understanding

고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력

Accuracy potential of visual localization exploiting high-end street-level imagery

측량, 자율 항법, 로보틱스, 증강현실 등 많은 응용에는 기준 좌표계에 대한 정확한 자세 정보가 필요하다. 시각적 위치 추정은 가용성과 정확도가 자주 제한되는 GNSS 위치 결정을 보완할 수 있다. 그러나 시각적 위치 추정의 정확도 잠재력은 측량급 요구 사항에 비추어 체계적으로 조사된 적이 없으며, 그러한 조사에 충분히 정확한 정답 자세를 제공하는 공개 대규모 야외 데이터셋도 없다. 우리는 이 두 공백을 모두 다룬다. 첫째, FHNW Muttenz 데이터셋을 제시한다. 이는 약 1.5년 간격의 두 차례 모바일 매핑 캠페인으로 매핑된 연속 10 km 도로망을 포괄하며, 고해상도 기준 영상과 다섯 장면에서 네 대의 카메라로 촬영한 질의 시퀀스를 포함한다. 두 캠페인은 서로 5 mm의 정확도로 정합된다. 질의 영상을 기준 영상에 정합하면 위치 6-9 mm, 방향 0.1{\deg} 훨씬 미만의 정확도를 갖는 정답 자세가 얻어진다. 모든 영상은 약 2.5 cm의 정확도로 지오레퍼런싱되어 있다. 둘째, 이 데이터셋을 사용하여, 검증된 구성요소로 만든 모듈식 파이프라인으로 희소 특징 기반 시각적 위치 추정을 체계적으로 평가하며, 고해상도 기준 영상을 장면 표현으로 직접 사용한다. 주간 영상과 사전 보정된 카메라에서 기준 영상에 대한 자세 오차의 중앙값은 이동 1-5 cm, 회전 0.03-0.1{\deg}이다. 정확하게 지오레퍼런싱된 장면 표현이 주어지면, 시각적 위치 추정은 측량급 GNSS 위치 결정의 정확도에 근접할 뿐 아니라 전체 방향 정보도 제공한다. 데이터셋은 https://fhnw-muttenz-vl-dataset.github.io/ 에서 공개되어 있다.

arXiv:2609.27509v1cs.CV공통 태그 Pose Estimation, Autonomous Driving, Scene Understanding

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2610.15734v1cs.CV공통 태그 Pose Estimation, Scene Understanding

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

arXiv:2610.15745v1cs.CV공통 태그 Autonomous Driving, Scene Understanding

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2610.11058v1cs.CV공통 태그 Autonomous Driving, Scene Understanding

연결 관계 개선을 통한 격차 해소: 자율주행 장면 토폴로지를 위한 신뢰할 수 있는 향상 프레임워크

Refine Connections, Close the Gap: A Reliable Enhancement Framework for Driving Scene Topology

자율주행에서 차선과 교통 요소 간의 연결성을 의미하는 장면 토폴로지(scene topology)를 이해하는 것은 안전한 경로 계획과 모션 제어에 매우 중요합니다. 현재 방법들은 개별 지도 요소를 탐지하는 데는 뛰어나지만, 연결성 추론은 이론적 잠재력에 미치지 못하는 경우가 많아 기본 탐지 성능을 감안할 때 달성 가능한 이론적 상한선과 비교해 상당한 성능 격차를 남깁니다. 나아가 다운스트림 태스크로 전달되는 의사결정용 토폴로지 그래프는 여전히 신뢰하기 어려운 경우가 많습니다. 기존 접근 방식은 일반적으로 연속적인 토폴로지 점수에 임계값을 적용하여 연결성을 도출하지만, 이러한 점수는 실제 연결성의 논리적 가능도(likelihood)를 제대로 반영하지 못하여 오탐(false positive)이나 누락된 연결을 초래하곤 합니다. 기존 벤치마크 또한 의사결정에 필요한 이산적 연결성을 평가하기보다 주로 연속적 지표를 평가함으로써 이 문제를 간과하고 있습니다. 이러한 격차를 해소하기 위해, 기존 방법들의 잠재력을 끌어내고 의사결정용 토폴로지의 신뢰성을 높이도록 설계된 새로운 토폴로지 향상 프레임워크인 TopoEnhance를 제안합니다. 본 연구는 토폴로지 향상을 디노이징 기반 재구성 과정으로 정식화하며, 여기서 모델(model)은 확률적으로 훼손된 정답 그래프로부터 구조적 일관성을 복원하는 방법을 학습합니다. 이러한 정식화를 통해 모델은 논리적 불일치를 해결하고 신뢰할 수 없는 연결을 바로잡아, 이론적 최대 성능에 근접하는 견고한 이산 토폴로지 그래프를 생성할 수 있습니다. 다양한 베이스라인에 걸친 광범위한 실험 결과, TopoEnhance는 연속적 토폴로지 지표(TOP 점수)와 본 연구에서 조정한 토폴로지 자카드 유사도(TJS) 지표로 측정한 이산적 연결성 모두를 일관되게 향상시키는 것으로 나타났습니다. 유연하고 소스에 구애받지 않는(source-agnostic) 프레임워크인 TopoEnhance는 재학습 없이도 다양한 최신 베이스라인 전반에 걸쳐 상당한 성능 향상을 제공합니다.

arXiv:2610.11060v1cs.CV공통 태그 Autonomous Driving, Scene Understanding

AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링

AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding

월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.