arXiv:1811.08588

Real-Time 6D Object Pose Estimation on CPU

Yoshinori Konishi, Kosuke Hattori, Manabu Hashimoto

제출 2018-11-21

원문 초록

We propose a fast and accurate 6D object pose estimation from a RGB-D image. Our proposed method is template matching based and consists of three main technical components, PCOF-MOD (multimodal PCOF), balanced pose tree (BPT) and optimum memory rearrangement for a coarse-to-fine search. Our model templates on densely sampled viewpoints and PCOF-MOD which explicitly handles a certain range of 3D object pose improve the robustness against background clutters. BPT which is an efficient tree-based data structures for a large number of templates and template matching on rearranged feature maps where nearby features are linearly aligned accelerate the pose estimation. The experimental evaluation on tabletop and bin-picking dataset showed that our method achieved higher accuracy and faster speed in comparison with state-of-the-art techniques including recent CNN based approaches. Moreover, our model templates can be trained only from 3D CAD in a few minutes and the pose estimation run in near real-time (23 fps) on CPU. These features are suitable for any real applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23566v1cs.CV공통 태그 Pose Estimation, CPU

G6D: 로봇 조작을 위한 기하학 기반 학습 불필요 RGB-D 6D 자세 솔버

G6D: Geometric Learning-Free RGB-D 6D Pose Solver for Robotic Manipulation

6D 객체 자세 추정은 로봇 조작 및 자동화의 기초이다. 최근 제로샷(zero-shot) 방법은 보지 못한 객체에 대한 일반화를 크게 개선했지만, 대부분은 여전히 상당한 GPU 연산 및 메모리 요구가 따르는 대규모 사전학습(pre-training) 모델에 의존한다. 이러한 요구사항은 인식, 계획, 제어가 제한된 연산 자원을 공유하는 로봇 플랫폼에서의 배포를 복잡하게 하며, 학습된 중간 표현은 과제별 적응을 위한 기하학적 해석 가능성을 제한적으로만 제공한다. 이러한 한계를 해소하기 위해 학습 불필요·기하학 주도 RGB-D 6D 자세 솔버인 G6D를 제안한다. RGB-D 관측, 객체 인스턴스 마스크, 카메라 내부 파라미터, CAD 모델이 주어지면 G6D는 템플릿 기반 기하학적 매칭으로 자세 가설을 생성하고 실루엣 및 �depth 일관성을 이용해 이를 정제하여 순수 기하학 주도 자세 추정 패러다임을 형성한다. 이 패러다임은 사전학습된 시각 모델도, 대상별 학습도 필요로 하지 않으며, 자세 추정 전 과정에서 해석 가능한 기하학적 표현을 유지한다. 더욱이 조절 가능한 가설 개수는 유연한 정확도-연산 trade-off를 제공하며, CPU 전용 구성은 GPU 자원 없이도 배포를 지원한다. LineMOD 및 BOP19 데이터셋 다섯 개에 대한 실험은 우수한 성능을 보여준다. 실세계 pick-and-place 실험은 로봇 조작에 대한 G6D의 적용 가능성을 추가로 보여준다. 전체 프로젝트는 https://ai4control.github.io/G6D-Project-Page 에서 공개되어 있다.

arXiv:2607.02561v1cs.CV공통 태그 Pose Estimation, CPU

이중 나선 액티브 지오메트리: 선택적 기권을 통한 LiDAR 앵커 기반 다중 뷰 깊이 추정

Double-Helix Active Geometry: LiDAR-Anchored Multi-View Depth with Selective Abstention

최근 아이폰에 탑재된 LiDAR 스캐너와 같은 소비자용 깊이 센서는 미터 단위의 거리를 제공하지만, 유효 범위가 짧고 반환 포인트가 희소하다. 우리는 DH-Active를 제시한다. 이는 경량의 학습 불필요(training-free) 지오메트리 백엔드로, 센서를 깊이의 유일한 소스가 아닌 미터 기준자(metric ruler)로 취급한다. 근거리 반환값은 PnP를 통해 두 뷰의 미터 단위 상대 포즈를 고정(anchor)하고, 유효한 깊이 반환값이 없는 시각적으로 추적 가능한 샘플은 해당 포즈 하에서 삼각측량된다. 시차/재투영 게이트(parallax/reprojection gate)는 지오메트리가 불량하게 조건화된 곳에서 추정을 강제하는 대신 명시적 홀(hole)과 선택적 점수를 남기며 기권(abstain)한다. 나선형 샘플링, 희소 역투영, 홀 분류체계를 포함하되 전처리 및 다중 뷰 복원을 제외한 핵심 프론트엔드는 CPU에서 중앙값 지연 시간 1.11ms로 동작하며(OpenCV, 14스레드 사용), 이는 우리의 타이밍 환경에서 GPU 기반 DINOv2-L 시각 브랜치보다 약 38배 빠르다. 두 개의 아이폰 캡처와 공개 벤치마크인 TUM RGB-D 및 ARKitScenes 전반에 걸쳐, 홀드아웃 깊이는 중앙값 상대 오차 1.4~6.7%로 복원된다. 2m 이내 반환값만을 스케일 설정에 사용하고 독립적인 레이저 스캔을 정답으로 사용하는 통제된 ARKitScenes 프로토콜에서, DH-Active는 평가 가능한 원거리 후보에 대해 씬 중앙값 기준 13.4% 상대 오차로 64.2%의 씬 중앙값 커버리지를 달성한다; 장치 궤적에서의 직접 삼각측량은 사용 불가 수준이다. 또한 우리는 테스트에서 실패한 대안들도 보고한다: 단일 프레임 초점 흐림(defocus), 고전적 포커스 스택 깊이, 초점 흐림-LiDAR 융합, 양호한 시각-관성 궤적 위의 점대점 ICP, 그리고 홀에 대한 어텐션 재샘플링. 12.6억 파라미터 학습 모델은 오라클 스케일 정렬 후 더 높은 정확도를 유지한다. 본 연구의 기여는 보다 한정적이다: 미터 단위 희소 깊이, 명시적 기권, 학습된 파라미터 없음, 그리고 밀리초 수준의 CPU 비용.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.