arXiv:2610.21086v2 cs.CV

CtRoFlow: 조건부 3D 플로 매칭을 통한 단안 카메라-로봇 자세 추정

CtRoFlow: Monocular Camera-to-Robot Pose Estimation via Conditioned 3D Flow Matching

Liangjing Shao, Wanhao Liu, Zhiwei Fang, Rulin Zhou, Quanlu Zhang, Beilei Cui, Hongliang Ren

제출 2026-11-17

한국어 초록

단안 이미지로부터의 카메라-로봇 자세 추정은 비전 기반 로봇 내비게이션과 제어에 중요하다. 기존의 카메라-로봇 자세 추정 방법은 시간이 많이 드는 반복적 렌더링에 의존하거나, 예측된 2D 키포인트에 기반한 PnP처럼 강건성이 제한적이거나, 단안 스케일 모호성과 복잡한 학습 구성을 겪는 3D 정합에 의존한다. 본 연구에서는 카메라-로봇 자세 추정을 위한 플로 매칭 기반 프레임워크인 CtRoFlow를 제안한다. 예측된 2D 히트맵으로부터 키포인트 중심의 다중 스케일 패치에서 위치 특징과 문맥적 표현을 함께 얻기 위해 키포인트 중심 특징 추출기(Keypoint-centered Feature Extractor, KFE)를 제안한다. 또한 키포인트 간 상관관계를 기반으로 플로 매칭을 위한 조건을 생성하는 그래프 유도 조건 생성기(Graph-guided Condition Generator, GCG)를 도입한다. 아울러 분리된 학습과 스케일 일관성을 위해 뼈 길이 손실(Bone Length Loss)과 광선 기반 손실(Ray-based Loss)을 도입하고, 관절별 가중치를 적용하여 관절마다 다른 예측 난이도를 완화한다. 제안한 방법은 여러 카메라를 사용하는 다양한 종류의 로봇에서의 자세 추정은 물론, 제로샷 교차 장면 로봇 자세 추정에서도 최신 방법들을 능가한다. 코드는 논문 채택 후 공개될 예정이다.

원문 초록

Camera-to-robot pose estimation from a monocular image is significant for vision-based robot navigation and control. Existing camera-to-robot pose estimation methods either rely on time-consuming iterative rendering, PnP based on predicted 2D keypoints with limited robustness or 3D registration which suffers from monocular scale ambiguity and complex training configuration. In this work, we propose CtRoFlow, a flow matching-based framework for camera-to-robot pose estimation. From the predicted 2D heatmaps, we propose a Keypoint-centered Feature Extractor (KFE) to obtain positional features along with contextual representations from keypoints-centered multi-scale patches. Moreover, we introduce Graph-guided Condition Generator (GCG), which generates condition for flow matching based on correlation among keypoints. Besides, we introduce Bone Length Loss and Ray-based Loss for decoupled training and scale consistency, with joint-wise weighting to mitigate varied prediction difficulty across joints. The proposed method outperforms state-of-the-art methods for pose estimation across different types of robots with multiple cameras, as well as for zero-shot cross-scene robot pose estimation. Code will be available upon acceptance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.21086v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.