SenseShift6D: 환경 및 센서 변화에 강인한 6D 자세 추정을 위한 멀티모달 RGB-D 벤치마킹
SenseShift6D: Multimodal RGB-D Benchmarking for Robust 6D Pose Estimation across Environment and Sensor Variations
6D 물체 자세 추정의 최근 발전은 LM-O, YCB-V, T-Less와 같은 대표적인 벤치마크에서 높은 성능을 달성하였다. 이러한 데이터셋은 조명과 카메라 설정의 자연 발생적 변화를 담고 있으나, 노출, 게인, 깊이 센서 모드와 같은 제어 가능한 센서 구성의 영향을 체계적으로 탐구하지는 않는다. 이러한 간극을 메우기 위해, 우리는 13개의 RGB 노출, 9개의 RGB 게인, 자동 노출, 4개의 깊이 촬영 모드, 5개의 조명 수준을 물리적으로 변화시킨 최초의 RGB-D 물체 자세 벤치마크 SenseShift6D를 소개한다. 일반적인 가정용 물체 여섯 종에 대해 198.8k개의 RGB 이미지와 20.0k개의 깊이 이미지(즉, 795.4k개의 RGB-D 장면)를 수집하여, 물체 자세마다 1,380개의 고유한 센서-조명 조합을 제공한다. 최신 사전학습 범용 자세 추정기를 이용한 실험은 대규모 사전학습에도 불구하고 조명 및 센서 설정에 따라 성능이 상당히 달라짐을 보여준다. 놀랍게도 동일한 물체와 배경에서 학습 및 테스트된 인스턴스 수준 추정기조차 환경 및 센서 변화에 뚜렷한 민감성을 보인다. 이러한 발견은 센서 및 환경 인식 강인성이 6D 자세 추정에서 충분히 탐구되지 않았지만 필수적인 차원임을 확립한다. 이 벤치마크가 가능하게 하는 기회를 보이기 위해, 재학습 없이 테스트 시점에 센서를 선택하는 방식을 평가한다. 이상적인 제어기는 범용 모델에서 최대 +16.2 pp의 현저한 향상을 제공하는 반면, 실용적인 일관성 기반 대리 지표는 제한적인 개선만을 제공하여, 상당한 개선 여지와 신뢰할 수 있는 센서 인식 적응에 대한 향후 연구의 필요성을 부각한다. SenseShift6D는 huggingface.co/datasets/Yegyu/SenseShift6D에서 이용할 수 있다.