Pose Estimation of Specular and Symmetrical Objects
원문 초록
In the robotic industry, specular and textureless metallic components are ubiquitous. The 6D pose estimation of such objects with only a monocular RGB camera is difficult because of the absence of rich texture features. Furthermore, the appearance of specularity heavily depends on the camera viewpoint and environmental light conditions making traditional methods, like template matching, fail. In the last 30 years, pose estimation of the specular object has been a consistent challenge, and most related works require massive knowledge modeling effort for light setups, environment, or the object surface. On the other hand, recent works exhibit the feasibility of 6D pose estimation on a monocular camera with convolutional neural networks(CNNs) however they mostly use opaque objects for evaluation. This paper provides a data-driven solution to estimate the 6D pose of specular objects for grasping them, proposes a cost function for handling symmetry, and demonstrates experimental results showing the system's feasibility.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GAP-GDRNet: 합성 기하학적 지도를 활용한 우주선의 기하학 인식 단안 6D 자세 추정
GAP-GDRNet: Geometry-aware monocular 6D pose estimation for spacecraft using synthetic geometric supervision
단안 우주선 6D 자세 추정은 약한 텍스처, 얇은 구조물, 조명 변화, 폐색(occlusion) 환경에서 여전히 어렵다. 이 논문은 단일 대상 합성 우주선 벤치마크를 위해 GDR-Net 기반으로 구축된 기하학 인식 RGB 프레임워크인 GAP-GDRNet을 제안한다. 이 방법은 기하학 기반 회귀 파이프라인을 두 지점에서 강화한다. 첫째, AFR을 밀집 기하학적 예측 이전에 배치하여 전역 구조적 어텐션과 지역적 약한 텍스처 향상을 결합한다. 둘째, PGSA를 Patch-PnP에 삽입하여 최종 자세 회귀 전에 다운샘플링된 기하학적 영역들을 연관짓는다. 밀집 지도(supervision)는 마스크, 모델 좌표 맵, 카메라 내부 파라미터, 6D 자세 레이블을 제공하는 Blender 기반 렌더링 및 어노테이션 과정에서 획득한다. 자체 구축한 우주선 데이터셋에서 GAP-GDRNet은 회전 오차 1.96°, 이동 오차 0.0165 m, [email omitted] m 95.16%를 달성하며, 재현된 GDR-Net 기준선 대비 3.88 퍼센트 포인트 향상된 성능을 35.97 FPS로 구현한다. T-LESS 및 LM-O에 대한 테스트에서도 텍스처가 없거나 폐색된 비우주선 객체에 대해 재현된 기준선 대비 일관된 성능 향상을 보인다.
단일 참조 미관측 객체 자세 추정을 위한 교차 뷰 의미적 사전 학습
Learning Cross-View Semantic Priors for Single-Reference Unseen Object Pose Estimation
단일 참조 미관측 객체 6D 자세 추정은 하나의 참조 뷰만으로 임의의 새로운 객체의 자세를 추정하여 객체 온보딩(onboarding)을 줄인다. 최근 대응(correspondence) 기반 파이프라인은 비전 기반 모델(VFM) 특징으로 견고한 성능을 달성했다. 그러나 이들은 일반적으로 이러한 특징을 뷰 내(intra-view) 기술자(descriptor)로 취급하여, 기하학적 디코딩 전에 외관, 구조, 문맥을 포함한 밀집된 시각-의미 단서가 뷰 간에 충분히 교환되지 않게 남긴다. 그 결과 디코딩된 점(point) 특징은 의미적·기하학적 변별력을 함께 갖추지 못할 수 있어, 어려운 경우에 대응 추정이 여전히 어렵다. 특징을 독립적으로 처리하는 대신, 우리는 초기 교차 뷰 의미적 사전(prior)을 중심으로 대응 파이프라인을 구성한다. 구체적으로, 교차 뷰 의미적 상호작용(CVSI)은 밀집된 쿼리 및 참조 VFM 토큰이 의미적 문맥을 교환하고 교차 뷰 사전을 형성하도록 한다. 그럼에도 직접적인 CVSI는 VFM 토큰 구조를 교란할 수 있으며, 그로 인해 형성된 의미적 사전은 여전히 강체(rigid) 대응을 위해 3D 표현 일관성이 필요하다. CVSI 사전을 3D 대응 학습에 신뢰할 수 있게 만들기 위해, 우리는 두 가지 상보적인 학습 시점 제약을 도입한다: 뷰 내 구조 보존(IVSP) 손실은 상호작용 중 원래의 뷰 내 토큰 친화도(affinity) 구조를 보존하고, 참조 고정 기하학적 일관성(RAGC) 손실은 디코딩된 점 특징의 공간 표현 일관성을 강제한다. 최종 자세는 학습된 대응으로부터 가중 SVD를 통해 복원된다. 또한 YCB-V 및 TUD-L BOP Challenge 데이터셋으로부터 어려운 매칭 시나리오에서의 견고성을 평가하기 위해 도전적인 뷰 쌍(view-pair) 프로토콜을 구성한다. 서로 다른 뷰 쌍 설정 하에서 6개 벤치마크에 대한 광범위한 실험은 우리 방법이 비슷한 추론 속도를 유지하면서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.
우주선 6D 자세 추정을 위한 정밀도 인식 조명 분리 비전 트랜스포머
Precision-Aware Illumination-Disentangled Vision Transformer for Spacecraft 6D Pose Estimation
비전 센서는 우주선 근접 운용을 위한 경량 솔루션을 제공하지만, 단안(monocular) 우주선 6D 자세 추정은 조명 변화, 반사(specular reflection), 그림자, 약한 텍스처, 배경 간섭 하에서 여전히 어렵다. 이러한 요인들은 국소적 시각 증거를 공간적으로 신뢰할 수 없게 만들며 자세 회귀(pose regression)를 불안정하게 할 수 있다. 본 논문은 강건한 우주선 자세 추정을 위해 정밀도 인식 조명 분리 비전 트랜스포머(Precision-Aware Illumination-Disentangled Vision Transformer, PAID-ViT)를 제안한다. 제안 모델은 자세 관련 구조 토큰과 조명에 민감한 외형 토큰을 분리하고, 자세 집계 전에 패치 신뢰도를 추정하며, 실루엣 단서를 보존하기 위해 전경 마스크 지도(foreground mask supervision)를 사용한다. 매개변수 없는(parameter-free) 기하 복원 모듈은 정규화된 크롭 좌표, 로그 깊이(log-depth), 연속 6D 회전 표현을 카메라 좌표계 회전 및 병진으로 변환한다. SPEED+ V2와 본 연구에서 사용한 SPEED+ 검증/lightbox/sunlamp 평가 구성에 대한 실험 결과, PAID-ViT가 병진 오차를 줄이고 도전적인 sunlamp 도메인에서 강건성을 개선하는 것으로 나타났으며, ablation 연구는 조명 분리, 신뢰도 인식 토큰 집계, 마스크 지도, 학습 측 정규화의 상보적 역할을 뒷받침한다.
PPR-Net:Point-wise Pose Regression Network for Instance Segmentation and 6D Pose Estimation in Bin-picking Scenarios
RGB-D 영상 및 3차 스플라인 호장 적분을 이용한 곡률 인지 온실 오이 3D 길이 추정
Curvature-aware 3D length estimation of greenhouse cucumbers using RGB-D imaging and cubic spline arc-length integration
상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.