Investigations on Output Parameterizations of Neural Networks for Single Shot 6D Object Pose Estimation
원문 초록
Single shot approaches have demonstrated tremendous success on various computer vision tasks. Finding good parameterizations for 6D object pose estimation remains an open challenge. In this work, we propose different novel parameterizations for the output of the neural network for single shot 6D object pose estimation. Our learning-based approach achieves state-of-the-art performance on two public benchmark datasets. Furthermore, we demonstrate that the pose estimates can be used for real-world robotic grasping tasks without additional ICP refinement.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시각적 파지를 넘어서: 탐지에서 실행까지 복합 파지 벤치마킹
Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution
견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.
물체 자세 불확실성 처리를 위한 모듈형 빈 피킹 프레임워크
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
최근 정밀한 빈 피킹(bin-picking) 응용을 위한 견고한 로봇 시스템에 대한 관심이 높아지고 있다. 신뢰할 수 있는 성능을 달성하려면 이러한 시스템은 물체 자세(pose) 추정과 그래스핑(grasping) 과정 모두에서 발생하는 오차를 해결해야 한다. 다양한 접근법이 제안되었지만, 이들은 일반적으로 특정 과제만을 대상으로 하며 일반적인 해법을 제공하지 않는다. 본 논문에서는 두 오차 유형을 공동으로 처리하는 모듈형 프레임워크를 제시한다. 이 프레임워크는 자세 불확실성을 반영하기 위해 물체 자세 분포 추정을 포함하며, 이 불확실성은 단일한 정확한 자세를 결정할 수 없는 모호한 관측 상황에서 빈번히 발생한다. 불확실성을 더 줄이기 위해 상보적인 자세 분포를 계산하는 제2 시점(second-viewpoint) 모듈을 도입하며, 이후 이를 융합한다. 이러한 융합은 전체 불확실성을 감소시키고 시스템 효율을 향상시킨다. 또한 그래스핑 오차를 보상하기 위한 두 개의 독립 모듈이 포함된다. 모듈형 설계는 물리적 구성에 따라 구성 요소를 최적 성능을 위해 결합하거나 개별적으로 사용할 수 있게 한다. 제안 방법은 세 가지 서로 다른 물체를 사용한 실제 환경에서 평가되었으며, 오류 없이 수행되었고 모든 모듈이 효율 향상에 기여함을 보였다. 이러한 결과는 자세 분포와 그래스핑 자세 오차를 통합하는 것이 더 유연하고 신뢰할 수 있는 로봇 생산 시스템 개발을 위한 유망한 방향임을 시사한다. 우리가 아는 한, 이것은 교체 가능한 모듈을 사용하여 그래스핑과 물체 자세 불확실성을 공동으로 다루는 최초의 프레임워크이다. 추가 모듈을 통합할 여지가 충분하며, 이를 통해 성능과 유연성이 향상될 것으로 믿는다. 현재 프레임워크는 SO(2)에서의 자세 불확실성에 한정되어 있지만, SE(3)로 확장할 수 있으며, 이를 통해 시스템을 개선하는 추가 모듈을 활성화할 수 있다.
GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation
새로운 물체에 대한 강건한 로봇 파지(grasping)를 위해서는 사실적인 RGB-D 관측, 물리적으로 검증된 파지 품질 주석, 그리고 시뮬레이션과 실세계 간의 체계적인 연결을 동시에 제공하는 데이터셋이 필요하지만, 기존 데이터셋들은 이를 통합적으로 제공하지 못한다. GraspIT는 이 공백을 해소한다: NVIDIA Isaac Sim 내 테이블탑 장면들을 병렬 Franka Panda 인스턴스에서 4단계 물리적 슬립 테스트(slip-test)를 통해 주석 처리하여, 포스-클로저(force-closure)를 넘어서는 궤적 도달 가능성 검사와 연속적인 품질 점수를 생성한다. 약 230만 개의 후보 중 83%가 good($s \geq 0.50$)으로 통과하며, 포스-클로저는 통과했지만 슬립 테스트에서 실패한 17%는 등급화된 어려운 부정 샘플(hard negative)을 제공한다. Real↔Sim 루프는 이 레이블들을 100개의 실세계 장면에 역투영(back-project)한다. 이번 릴리스는 1,035개의 시뮬레이션 장면과 100개의 실세계 장면에 걸쳐 약 31만 6천 개의 주석된 RGBD 프레임 셋을 제공하며, 인스턴스 마스크, 6-DoF 포즈, 물리적 물체 속성, 그리고 점수가 부여된 6-DoF 파지 정보를 포함한다. 모든 도구는 오픈소스이며 Docker 컨테이너화되어 있다. Isaac Sim 내의 궤적 계획은 테이블탑 조작 정책 학습과 행동 복제(behavior cloning)를 위한 고해상도 시연의 스트리밍을 추가적으로 가능하게 한다.
YOLOv5-6D: Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries
PPR-Net:Point-wise Pose Regression Network for Instance Segmentation and 6D Pose Estimation in Bin-picking Scenarios
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.