CorNet: Generic 3D Corners for 6D Pose Estimation of New Objects without Retraining
원문 초록
We present a novel approach to the detection and 3D pose estimation of objects in color images. Its main contribution is that it does not require any training phases nor data for new objects, while state-of-the-art methods typically require hours of training time and hundreds of training registered images. Instead, our method relies only on the objects' geometries. Our method focuses on objects with prominent corners, which covers a large number of industrial objects. We first learn to detect object corners of various shapes in images and also to predict their 3D poses, by using training images of a small set of objects. To detect a new object in a given image, we first identify its corners from its CAD model; we also detect the corners visible in the image and predict their 3D poses. We then introduce a RANSAC-like algorithm that robustly and efficiently detects and estimates the object's 3D pose by matching its corners on the CAD model with their detected counterparts in the image. Because we also estimate the 3D poses of the corners in the image, detecting only 1 or 2 corners is sufficient to estimate the pose of the object, which makes the approach robust to occlusions. We finally rely on a final check that exploits the full 3D geometry of the objects, in case multiple objects have the same corner spatial arrangement. The advantages of our approach make it particularly attractive for industrial contexts, and we demonstrate our approach on the challenging T-LESS dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
크리켓 샷 분류 및 자동 생체역학 분석을 위한 3D 포즈 기반 앙상블 프레임워크
A 3D Pose-Based Ensemble Framework for Cricket Shot Classification and Automated Biomechanical Analysis
크리켓은 전 세계에서 가장 사랑받는 스포츠 중 하나이며, 기술 발전은 현대 경기가 분석되고 코칭되는 방식에 깊이 자리 잡았다. 크리켓 샷 분류와 자동화된 성과 분석은 이러한 흐름에 또 다른 차원을 더한다. 전통적 접근법은 RGB 영상 특징이나 정적 이미지에 의존하며, 카메라 각도, 조명, 배경 잡음 등 환경 변화에 민감하고, 타격 동작의 근본적인 생체역학을 포착하는 데 종종 실패한다. 본 논문에서는 원시 영상 데이터를 입력으로 받아 YOLO로 영상 프레임에서 타자를 추출하고 MeTRAbs로 영상 프레임에서 3D 포즈 데이터를 추출하여 크리켓 코칭을 개선하는 시스템을 제안한다. 이 시스템은 30개 신체 관절점의 순차적 골격 포즈 데이터를 생성하며 타자의 생체역학적 특징을 포착한다. 시스템의 일부로 flick, pull, defense, drive 네 가지 샷에 대한 샷 분류용 심층 학습 앙상블도 제안한다. 앙상블은 기존 분류 연구 대비 우수한 성능을 보였으며 97.68%의 정확도를 달성했다. 또한 오분류율을 분석하여 샷이 잘못 분류된 사례를 식별하고 가능한 원인을 검토했다. 제안 시스템은 초보 선수가 전문 타자 대비 중요 관절 각도와 같은 유용한 피드백을 얻을 수 있게 하며, 부상 예방에도 도움이 될 수 있다. 샷 분류기는 클래스별 샷을 시간에 따라 추적하여 추가 분석을 돕는다. 초보 선수뿐 아니라 코치도 선수 평가에 이 시스템을 활용할 수 있다.
WiFi-JEPA: WiFi-CSI 3D 인체 자세 추정을 위한 자기지도학습
WiFi-JEPA: Self-supervised Learning for WiFi-CSI 3D Human Pose Estimation
WiFi 채널 상태 정보(CSI)는 카메라 사용이 불가한 환경에서 프라이버시를 보호하는 인체 자세 감지를 가능하게 하지만, 기존 WiFi 기반 자세 추정기는 환경 변화에 취약하고 확장성을 제한하는 비용이 높은 카메라 기반 어노테이션 파이프라인에 의존한다. 본 논문에서는 WiFi-JEPA를 제안한다. 이는 하드웨어 특유의 아티팩트를 포함할 수 있는 원시 CSI 신호를 재구성하는 대신 마스킹된 잠재 임베딩을 예측함으로써 CSI 고유 표현을 학습하는 자기지도학습 프레임워크이다. WiFi-JEPA는 세 가지 기여를 한다: (i) 채널, 시간, 링크(C,T,L)에 걸친 CSI 텐서에 맞춰 설계된 CSI 전용 토큰화 및 링크 마스킹; 전체 송수신(Tx-Rx) 안테나 링크를 마스킹함으로써 모델이 다른 공간 링크 뷰로부터 하나의 뷰를 예측하도록 강제하여, 3D 공간 구조에 관한 정보를 담은 교차 링크 상관관계를 포착한다. (ii) 무작위화된 기하학적 프리미티브로부터 다양한 비레이블 CSI를 생성하는 레이 트레이싱 CSI 시뮬레이션 파이프라인으로, 자세 어노테이션 없이 확장 가능한 사전학습 데이터를 제공한다. (iii) Person-in-WiFi-3D에서의 최첨단 결과: WiFi-JEPA는 동일한 평가 프로토콜 하에서 단일 및 다중 인물 3D 자세 추정 모두에서 기존 WiFi-CSI 기준 모델을 능가한다. 또한 시뮬레이션된 CSI가 실제 CSI에 대한 보완적인 사전학습 신호를 제공하며, 비전 고유의 자기지도학습(SSL) 목적 함수 네 가지는 처음부터 학습하는 것보다 성능을 저하시키는 반면, WiFi-JEPA는 다운스트림 자세 추정을 일관되게 향상시킴을 보인다.
GAP-GDRNet: 합성 기하학적 지도를 활용한 우주선의 기하학 인식 단안 6D 자세 추정
GAP-GDRNet: Geometry-aware monocular 6D pose estimation for spacecraft using synthetic geometric supervision
단안 우주선 6D 자세 추정은 약한 텍스처, 얇은 구조물, 조명 변화, 폐색(occlusion) 환경에서 여전히 어렵다. 이 논문은 단일 대상 합성 우주선 벤치마크를 위해 GDR-Net 기반으로 구축된 기하학 인식 RGB 프레임워크인 GAP-GDRNet을 제안한다. 이 방법은 기하학 기반 회귀 파이프라인을 두 지점에서 강화한다. 첫째, AFR을 밀집 기하학적 예측 이전에 배치하여 전역 구조적 어텐션과 지역적 약한 텍스처 향상을 결합한다. 둘째, PGSA를 Patch-PnP에 삽입하여 최종 자세 회귀 전에 다운샘플링된 기하학적 영역들을 연관짓는다. 밀집 지도(supervision)는 마스크, 모델 좌표 맵, 카메라 내부 파라미터, 6D 자세 레이블을 제공하는 Blender 기반 렌더링 및 어노테이션 과정에서 획득한다. 자체 구축한 우주선 데이터셋에서 GAP-GDRNet은 회전 오차 1.96°, 이동 오차 0.0165 m, [email omitted] m 95.16%를 달성하며, 재현된 GDR-Net 기준선 대비 3.88 퍼센트 포인트 향상된 성능을 35.97 FPS로 구현한다. T-LESS 및 LM-O에 대한 테스트에서도 텍스처가 없거나 폐색된 비우주선 객체에 대해 재현된 기준선 대비 일관된 성능 향상을 보인다.
단일 참조 미관측 객체 자세 추정을 위한 교차 뷰 의미적 사전 학습
Learning Cross-View Semantic Priors for Single-Reference Unseen Object Pose Estimation
단일 참조 미관측 객체 6D 자세 추정은 하나의 참조 뷰만으로 임의의 새로운 객체의 자세를 추정하여 객체 온보딩(onboarding)을 줄인다. 최근 대응(correspondence) 기반 파이프라인은 비전 기반 모델(VFM) 특징으로 견고한 성능을 달성했다. 그러나 이들은 일반적으로 이러한 특징을 뷰 내(intra-view) 기술자(descriptor)로 취급하여, 기하학적 디코딩 전에 외관, 구조, 문맥을 포함한 밀집된 시각-의미 단서가 뷰 간에 충분히 교환되지 않게 남긴다. 그 결과 디코딩된 점(point) 특징은 의미적·기하학적 변별력을 함께 갖추지 못할 수 있어, 어려운 경우에 대응 추정이 여전히 어렵다. 특징을 독립적으로 처리하는 대신, 우리는 초기 교차 뷰 의미적 사전(prior)을 중심으로 대응 파이프라인을 구성한다. 구체적으로, 교차 뷰 의미적 상호작용(CVSI)은 밀집된 쿼리 및 참조 VFM 토큰이 의미적 문맥을 교환하고 교차 뷰 사전을 형성하도록 한다. 그럼에도 직접적인 CVSI는 VFM 토큰 구조를 교란할 수 있으며, 그로 인해 형성된 의미적 사전은 여전히 강체(rigid) 대응을 위해 3D 표현 일관성이 필요하다. CVSI 사전을 3D 대응 학습에 신뢰할 수 있게 만들기 위해, 우리는 두 가지 상보적인 학습 시점 제약을 도입한다: 뷰 내 구조 보존(IVSP) 손실은 상호작용 중 원래의 뷰 내 토큰 친화도(affinity) 구조를 보존하고, 참조 고정 기하학적 일관성(RAGC) 손실은 디코딩된 점 특징의 공간 표현 일관성을 강제한다. 최종 자세는 학습된 대응으로부터 가중 SVD를 통해 복원된다. 또한 YCB-V 및 TUD-L BOP Challenge 데이터셋으로부터 어려운 매칭 시나리오에서의 견고성을 평가하기 위해 도전적인 뷰 쌍(view-pair) 프로토콜을 구성한다. 서로 다른 뷰 쌍 설정 하에서 6개 벤치마크에 대한 광범위한 실험은 우리 방법이 비슷한 추론 속도를 유지하면서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.
우주선 6D 자세 추정을 위한 정밀도 인식 조명 분리 비전 트랜스포머
Precision-Aware Illumination-Disentangled Vision Transformer for Spacecraft 6D Pose Estimation
비전 센서는 우주선 근접 운용을 위한 경량 솔루션을 제공하지만, 단안(monocular) 우주선 6D 자세 추정은 조명 변화, 반사(specular reflection), 그림자, 약한 텍스처, 배경 간섭 하에서 여전히 어렵다. 이러한 요인들은 국소적 시각 증거를 공간적으로 신뢰할 수 없게 만들며 자세 회귀(pose regression)를 불안정하게 할 수 있다. 본 논문은 강건한 우주선 자세 추정을 위해 정밀도 인식 조명 분리 비전 트랜스포머(Precision-Aware Illumination-Disentangled Vision Transformer, PAID-ViT)를 제안한다. 제안 모델은 자세 관련 구조 토큰과 조명에 민감한 외형 토큰을 분리하고, 자세 집계 전에 패치 신뢰도를 추정하며, 실루엣 단서를 보존하기 위해 전경 마스크 지도(foreground mask supervision)를 사용한다. 매개변수 없는(parameter-free) 기하 복원 모듈은 정규화된 크롭 좌표, 로그 깊이(log-depth), 연속 6D 회전 표현을 카메라 좌표계 회전 및 병진으로 변환한다. SPEED+ V2와 본 연구에서 사용한 SPEED+ 검증/lightbox/sunlamp 평가 구성에 대한 실험 결과, PAID-ViT가 병진 오차를 줄이고 도전적인 sunlamp 도메인에서 강건성을 개선하는 것으로 나타났으며, ablation 연구는 조명 분리, 신뢰도 인식 토큰 집계, 마스크 지도, 학습 측 정규화의 상보적 역할을 뒷받침한다.
PPR-Net:Point-wise Pose Regression Network for Instance Segmentation and 6D Pose Estimation in Bin-picking Scenarios
토론
이 논문과 연결된 포럼 글이 아직 없습니다.