arXiv:2010.16279

3D Object Recognition By Corresponding and Quantizing Neural 3D Scene Representations

Mihir Prabhudesai, Shamit Lal, Hsiao-Yu Fish Tung, Adam W. Harley, Shubhankar Potdar, Katerina Fragkiadaki

제출 2020-10-30

원문 초록

We propose a system that learns to detect objects and infer their 3D poses in RGB-D images. Many existing systems can identify objects and infer 3D poses, but they heavily rely on human labels and 3D annotations. The challenge here is to achieve this without relying on strong supervision signals. To address this challenge, we propose a model that maps RGB-D images to a set of 3D visual feature maps in a differentiable fully-convolutional manner, supervised by predicting views. The 3D feature maps correspond to a featurization of the 3D world scene depicted in the images. The object 3D feature representations are invariant to camera viewpoint changes or zooms, which means feature matching can identify similar objects under different camera viewpoints. We can compare the 3D feature maps of two objects by searching alignment across scales and 3D rotations, and, as a result of the operation, we can estimate pose and scale changes without the need for 3D pose annotations. We cluster object feature maps into a set of 3D prototypes that represent familiar objects in canonical scales and orientations. We then parse images by inferring the prototype identity and 3D pose for each detected object. We compare our method to numerous baselines that do not learn 3D feature visual representations or do not attempt to correspond features across scenes, and outperform them by a large margin in the tasks of object retrieval and object pose estimation. Thanks to the 3D nature of the object-centric feature maps, the visual similarity cues are invariant to 3D pose changes or small scale changes, which gives our method an advantage over 2D and 1D methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23534v1cs.CV공통 태그 Retrieval, Pose Estimation

PosEviLoc: 언어 기반 3D 위치 추정을 위한 위치 조건부 공간 증거

PosEviLoc: Position-Conditioned Spatial Evidence for Language-Based 3D Localization

언어 기반 3D 위치 추정(localization)은 주변 객체와 그 공간적 관계에 대한 설명으로부터 목표 위치를 포함하는 포인트 클라우드 서브맵을 검색하는 작업이다. 기존 방법들은 일반적으로 질의(query)와 서브맵을 전역 디스크립터(global descriptor)로 압축하는데, 이는 객체 수준의 의미와 설명 간 공간적 일관성을 모호하게 만들 수 있다. 본 논문에서는 대략적인(coarse) 텍스트-투-포인트 클라우드 위치 추정을 위한 질의 위치 인식(query-position-aware) 프레임워크인 위치 조건부 증거 위치 추정(Position-Conditioned Evidence Localization, PosEviLoc)을 제안한다. 전역 매칭에 의존하는 대신, PosEviLoc은 명시적인 의미적 및 공간적 증거를 사용하여 각 후보 서브맵을 평가한다. 이 방법은 방향을 객체 위치와 가상의 질의 위치에 의해 공동으로 결정되는 관계로 모델링한다. 그 결과로 생성되는 질의-위치 공간 증거 필드(Query-Position Spatial Evidence Field, QSEF)는 각 가상 위치에서 지지되는 질의 설명의 비율을 측정하며, 증거 필드를 구성하는 데 실제(ground-truth) 질의 자세(pose)를 사용하지 않고도 설명들 간의 일치도를 명시적으로 포착한다. 다중 레벨 증거 판독(Multi-Level Evidence Readout, MER)은 이러한 증거를 압축된 표현으로 요약하며, 경량 MLP가 이를 검색 점수(retrieval score)로 변환한다. 다섯 개의 벤치마크(benchmark)에서 PosEviLoc은 재현율@1(Recall@1) 기준으로 MNCL을 평균 17퍼센트포인트(percentage point) 앞선다. 플러그 앤 플레이(plug-and-play) 재랭커(reranker)로 사용될 경우, MNCL을 평균 16퍼센트포인트 개선한다. 또한 PosEviLoc은 기존 방법들에 비해 훨씬 적은 파라미터(parameter)를 도입하며 더 빠른 추론(inference) 속도를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.