CalibFormer: A Transformer-based Automatic LiDAR-Camera Calibration Network
원문 초록
The fusion of LiDARs and cameras has been increasingly adopted in autonomous driving for perception tasks. The performance of such fusion-based algorithms largely depends on the accuracy of sensor calibration, which is challenging due to the difficulty of identifying common features across different data modalities. Previously, many calibration methods involved specific targets and/or manual intervention, which has proven to be cumbersome and costly. Learning-based online calibration methods have been proposed, but their performance is barely satisfactory in most cases. These methods usually suffer from issues such as sparse feature maps, unreliable cross-modality association, inaccurate calibration parameter regression, etc. In this paper, to address these issues, we propose CalibFormer, an end-to-end network for automatic LiDAR-camera calibration. We aggregate multiple layers of camera and LiDAR image features to achieve high-resolution representations. A multi-head correlation module is utilized to identify correlations between features more accurately. Lastly, we employ transformer architectures to estimate accurate calibration parameters from the correlation information. Our method achieved a mean translation error of $0.8751 \mathrm{cm}$ and a mean rotation error of $0.0562 ^{\circ}$ on the KITTI dataset, surpassing existing state-of-the-art methods and demonstrating strong robustness, accuracy, and generalization capabilities.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RECO: 도로변 3D 검출에서 외부 파라미터 섭동에 대한 영역 인식 보정
RECO: Region-Aware Compensation for Extrinsic Perturbations in Roadside 3D Detection
지능형 교통 시스템에서 도로변 3D 객체 검출은 교통 이해, 협력형 조기 경보, 안전한 자율주행에 필수적인 넓은 영역 인식을 제공한다. 그러나 기존 방법들은 카메라 외부 파라미터(extrinsic)에 대한 높은 민감도로 인한 문제가 있다. 일시적인 지터(jitter)나 지속적인 드리프트(drift)로 나타나는 미세한 편차조차 투영 기하학에 의해 크게 증폭될 수 있다. 이러한 연쇄 효과는 심각한 특징 불일치와 저하된 위치 추정을 초래한다. 이 한계를 완화하기 위해, 우리는 조각별 6-DoF 자세 오프셋을 사용하여 외부 파라미터를 보정하는 영역 인식 외부 파라미터 보정 프레임워크인 RECO를 제안한다. RECO는 학습 가능한 거리 경계를 예측하여 장면을 근거리와 원거리 영역으로 분할하고, 영역별 자세 보정을 추정한다. 미분 가능한 시그모이드 게이트가 두 보정된 기하를 부드럽게 혼합하여 연속적인 BEV 샘플링을 유지하고 안정적인 최적화를 촉진한다. 외부 파라미터 정제를 지도하기 위해, 3D ground truth에서 투영된 2D 바운딩 박스와 2D 어노테이션을 비교하는 보조 재투영 손실을 도입하고, 이를 표준 검출 목적 함수와 함께 공동 최적화한다. 외부 파라미터 섭동 하에서 DAIR-V2X-I 및 Rope3D 벤치마크에 대한 광범위한 실험은 yaw 및 $z$축 편차 모두에서 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. RECO는 일시적 섭동에서 지속적 이동으로도 일반화되며, 엄격한 보정(calibration) 불확실성 하에서도 매우 경쟁력 있는 성능을 유지한다.
MS-rPPG: 운전자 모니터링 시스템에서 원격 광용적맥파를 위한 다중 스펙트럼 상태 공간 모델
MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems
원격 광용적맥파(rPPG)는 생리 신호, 특히 심장 활동을 측정하는 카메라 기반 기법이다. 원격으로 측정된 신호로부터 심박수를 추정할 수 있으며, 이는 건강 모니터링에 매우 중요하다. 본 연구에서는 원격 심박수 추정에 기반한 운전자 건강 모니터링 시스템을 조사한다. 그러나 운전 환경은 제어되지 않은 환경으로, 영상이 다양한 조명 조건과 빈번한 머리 움직임의 영향을 받는다. MS-rPPG를 도입한다. 이는 RGB와 근적외선(NIR) 얼굴 영상을 결합하여 어려운 운전 조건 하에서 rPPG 추정을 완화하는 다중 스펙트럼 프레임워크이다. 두 스펙트럼 영상의 상보적 특징을 결합하기 위해, 주파수 영역 분석에 기반한 교차 스펙트럼 선형 변조(CSLM) 전략을 제안한다. 또한 다중 스펙트럼 특징 간 교차 채널 상호작용을 공동으로 포착하면서 장거리 시간적 의존성을 효과적으로 모델링하도록 설계된 새로운 상태 공간 모델인 MS-Mamba를 도입한다. 50명의 참가자가 차량을 운전하는 동안 기록한 MS-Drive라는 실세계 데이터셋을 수집했다. 제안 방법은 MR-NIRP Car 데이터셋과 MS-Drive 데이터셋에서 평가되었다. 실험 결과, MS-rPPG가 이전 방법들보다 더 나은 견고성과 심박수 추정 정확도를 보였으며, 운전자 건강 모니터링에 대한 잠재력을 강조한다. 코드는 github.com/ziiho08/MS-rPPG에서 이용할 수 있다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
구조적·의미적 일관성을 유지하는 시뮬-투-리얼 변환을 위한 웨이블릿 위상 확산
Wavelet Phase Diffusion for Structurally and Semantically Consistent Sim-to-Real Translation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.