PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22716v1cs.CV

ZIL: 제로샷 이미지-투-LiDAR 정합

ZIL: Zero-shot Image-to-LiDAR Registration

이미지-투-LiDAR 정합(Image-to-LiDAR registration)은 LiDAR 포인트 클라우드(point cloud)에 대한 이미지의 카메라 자세(camera pose)를 추정하는 작업이다. 이는 자율주행, 로봇 내비게이션 등 다양한 응용 분야를 가진다. 그러나 최신(state-of-the-art, SOTA) 방법들은 여전히 1) 대부분 동일 프레임 입력을 가정하여, 서로 멀리 떨어진 프레임에서 얻어진 이미지와 포인트 클라우드에 대해서는 어려움을 겪고, 2) 특정 도메인에 특화된 학습에 의존하여 보지 못한 시나리오로 일반화하지 못한다. 우리는 제로샷(zero-shot) 비동기(non-synchronized) 이미지-투-LiDAR 정합을 위한 최초의 파운데이션 모델(foundation model)인 ZIL을 제안한다. ZIL은 비전 트랜스포머(Vision Transformer)와 포인트 트랜스포머(Point Transformer)로 입력 이미지와 포인트 클라우드를 인코딩한다. 상대 자세(relative pose)를 회귀(regress)하는 것에 더해, ZIL은 3D 좌표를 예측하는 방법도 함께 학습하며, 이는 추가적인 주석(annotation) 없이도 자세 정확도를 크게 향상시킨다. 흥미롭게도, 단순한 혼합 데이터(mix-data) 학습만으로는 제로샷 일반화를 달성할 수 없으며, 이를 위해서는 카메라 내부 파라미터(camera intrinsics)와 LiDAR 수직축 원점(vertical-axis origin) 모두에 대한 정규화(normalization)가 필요하다. 140만 개의 LiDAR 프레임을 포함한 7개의 공개 데이터셋(dataset)으로 학습된 ZIL은, 단일 모델로 5개의 도메인 내(in-domain) 및 제로샷 벤치마크(benchmark)에서 기존 SOTA를 일관되고 크게 능가하며, 이동 오차(translation error)와 회전 오차(rotation error)를 각각 최대 87%, 76%까지 줄인다(그림 1 참조). 코드와 모델은 https://github.com/ZijunLi7/ZIL 에서 확인할 수 있다.