Context-aware 6D Pose Estimation of Known Objects using RGB-D data
원문 초록
6D object pose estimation has been a research topic in the field of computer vision and robotics. Many modern world applications like robot grasping, manipulation, autonomous navigation etc, require the correct pose of objects present in a scene to perform their specific task. It becomes even harder when the objects are placed in a cluttered scene and the level of occlusion is high. Prior works have tried to overcome this problem but could not achieve accuracy that can be considered reliable in real-world applications. In this paper, we present an architecture that, unlike prior work, is context-aware. It utilizes the context information available to us about the objects. Our proposed architecture treats the objects separately according to their types i.e; symmetric and non-symmetric. A deeper estimator and refiner network pair is used for non-symmetric objects as compared to symmetric due to their intrinsic differences. Our experiments show an enhancement in the accuracy of about 3.2% over the LineMOD dataset, which is considered a benchmark for pose estimation in the occluded and cluttered scenes, against the prior state-of-the-art DenseFusion. Our results also show that the inference time we got is sufficient for real-time usage.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GAP-GDRNet: 합성 기하학적 지도를 활용한 우주선의 기하학 인식 단안 6D 자세 추정
GAP-GDRNet: Geometry-aware monocular 6D pose estimation for spacecraft using synthetic geometric supervision
단안 우주선 6D 자세 추정은 약한 텍스처, 얇은 구조물, 조명 변화, 폐색(occlusion) 환경에서 여전히 어렵다. 이 논문은 단일 대상 합성 우주선 벤치마크를 위해 GDR-Net 기반으로 구축된 기하학 인식 RGB 프레임워크인 GAP-GDRNet을 제안한다. 이 방법은 기하학 기반 회귀 파이프라인을 두 지점에서 강화한다. 첫째, AFR을 밀집 기하학적 예측 이전에 배치하여 전역 구조적 어텐션과 지역적 약한 텍스처 향상을 결합한다. 둘째, PGSA를 Patch-PnP에 삽입하여 최종 자세 회귀 전에 다운샘플링된 기하학적 영역들을 연관짓는다. 밀집 지도(supervision)는 마스크, 모델 좌표 맵, 카메라 내부 파라미터, 6D 자세 레이블을 제공하는 Blender 기반 렌더링 및 어노테이션 과정에서 획득한다. 자체 구축한 우주선 데이터셋에서 GAP-GDRNet은 회전 오차 1.96°, 이동 오차 0.0165 m, [email omitted] m 95.16%를 달성하며, 재현된 GDR-Net 기준선 대비 3.88 퍼센트 포인트 향상된 성능을 35.97 FPS로 구현한다. T-LESS 및 LM-O에 대한 테스트에서도 텍스처가 없거나 폐색된 비우주선 객체에 대해 재현된 기준선 대비 일관된 성능 향상을 보인다.
단일 참조 미관측 객체 자세 추정을 위한 교차 뷰 의미적 사전 학습
Learning Cross-View Semantic Priors for Single-Reference Unseen Object Pose Estimation
단일 참조 미관측 객체 6D 자세 추정은 하나의 참조 뷰만으로 임의의 새로운 객체의 자세를 추정하여 객체 온보딩(onboarding)을 줄인다. 최근 대응(correspondence) 기반 파이프라인은 비전 기반 모델(VFM) 특징으로 견고한 성능을 달성했다. 그러나 이들은 일반적으로 이러한 특징을 뷰 내(intra-view) 기술자(descriptor)로 취급하여, 기하학적 디코딩 전에 외관, 구조, 문맥을 포함한 밀집된 시각-의미 단서가 뷰 간에 충분히 교환되지 않게 남긴다. 그 결과 디코딩된 점(point) 특징은 의미적·기하학적 변별력을 함께 갖추지 못할 수 있어, 어려운 경우에 대응 추정이 여전히 어렵다. 특징을 독립적으로 처리하는 대신, 우리는 초기 교차 뷰 의미적 사전(prior)을 중심으로 대응 파이프라인을 구성한다. 구체적으로, 교차 뷰 의미적 상호작용(CVSI)은 밀집된 쿼리 및 참조 VFM 토큰이 의미적 문맥을 교환하고 교차 뷰 사전을 형성하도록 한다. 그럼에도 직접적인 CVSI는 VFM 토큰 구조를 교란할 수 있으며, 그로 인해 형성된 의미적 사전은 여전히 강체(rigid) 대응을 위해 3D 표현 일관성이 필요하다. CVSI 사전을 3D 대응 학습에 신뢰할 수 있게 만들기 위해, 우리는 두 가지 상보적인 학습 시점 제약을 도입한다: 뷰 내 구조 보존(IVSP) 손실은 상호작용 중 원래의 뷰 내 토큰 친화도(affinity) 구조를 보존하고, 참조 고정 기하학적 일관성(RAGC) 손실은 디코딩된 점 특징의 공간 표현 일관성을 강제한다. 최종 자세는 학습된 대응으로부터 가중 SVD를 통해 복원된다. 또한 YCB-V 및 TUD-L BOP Challenge 데이터셋으로부터 어려운 매칭 시나리오에서의 견고성을 평가하기 위해 도전적인 뷰 쌍(view-pair) 프로토콜을 구성한다. 서로 다른 뷰 쌍 설정 하에서 6개 벤치마크에 대한 광범위한 실험은 우리 방법이 비슷한 추론 속도를 유지하면서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.
우주선 6D 자세 추정을 위한 정밀도 인식 조명 분리 비전 트랜스포머
Precision-Aware Illumination-Disentangled Vision Transformer for Spacecraft 6D Pose Estimation
비전 센서는 우주선 근접 운용을 위한 경량 솔루션을 제공하지만, 단안(monocular) 우주선 6D 자세 추정은 조명 변화, 반사(specular reflection), 그림자, 약한 텍스처, 배경 간섭 하에서 여전히 어렵다. 이러한 요인들은 국소적 시각 증거를 공간적으로 신뢰할 수 없게 만들며 자세 회귀(pose regression)를 불안정하게 할 수 있다. 본 논문은 강건한 우주선 자세 추정을 위해 정밀도 인식 조명 분리 비전 트랜스포머(Precision-Aware Illumination-Disentangled Vision Transformer, PAID-ViT)를 제안한다. 제안 모델은 자세 관련 구조 토큰과 조명에 민감한 외형 토큰을 분리하고, 자세 집계 전에 패치 신뢰도를 추정하며, 실루엣 단서를 보존하기 위해 전경 마스크 지도(foreground mask supervision)를 사용한다. 매개변수 없는(parameter-free) 기하 복원 모듈은 정규화된 크롭 좌표, 로그 깊이(log-depth), 연속 6D 회전 표현을 카메라 좌표계 회전 및 병진으로 변환한다. SPEED+ V2와 본 연구에서 사용한 SPEED+ 검증/lightbox/sunlamp 평가 구성에 대한 실험 결과, PAID-ViT가 병진 오차를 줄이고 도전적인 sunlamp 도메인에서 강건성을 개선하는 것으로 나타났으며, ablation 연구는 조명 분리, 신뢰도 인식 토큰 집계, 마스크 지도, 학습 측 정규화의 상보적 역할을 뒷받침한다.
YOLOv5-6D: Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries
PPR-Net:Point-wise Pose Regression Network for Instance Segmentation and 6D Pose Estimation in Bin-picking Scenarios
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.