Sparse2comm: 강건한 협력형 3D 객체 검출을 향하여
Sparse2comm: Towards Robust Cooperative 3D Object Detection
한국어 초록
협력적 인지는 3D 객체 검출을 위해 차량과 도로 인프라 간의 상호 보완적인 관측 정보를 공유함으로써 자율주행 성능을 향상시킵니다. 그러나 실제 배포 환경에서는 제한된 대역폭과 패킷 손실, 전송 지연, 공간적 오정렬이 복합적으로 협력 특징(feature) 스트림을 저하시키는 불안정한 협력 환경으로 인해 제약을 받습니다. 기존 방식들은 통신 비용을 줄이거나 특정 유형의 저하만을 보상하는 경우가 많아, 서로 결합된 교란 요인들을 충분히 해결하지 못했습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 저하된 협력 특징에 대한 점진적 복원으로 불안정한 협력을 다루는 대역폭 효율적이고 강건한 협력형 3D 객체 검출 프레임워크인 Sparse2comm을 제안합니다. 먼저 희소 특징 인코딩(Sparse Feature Encoding)은 협력 에이전트(agent)들이 전송하는 무작위 마스크 샘플링된 전경 특징으로 통신을 인코딩하며, 자차(ego vehicle)는 이로부터 조밀한 의미론적 표현을 재구성합니다. 이 희소-조밀(sparse-to-dense) 메커니즘은 희소한 관측치로부터 누락된 객체 중심 콘텐츠를 추론하도록 학습하여, 초저대역폭 통신과 패킷 손실 복구를 동일한 표현 내에서 가능하게 합니다. 의미론적으로 복원된 특징을 바탕으로, 지연 인식 정렬(Latency-Aware Alignment)은 모션 흐름을 예측하여 지연된 메시지를 보상하고, 자체 보정 융합(Self-Calibrating Fusion)은 적응형 에이전트 간 융합 이전에 자기지도(self-supervised) 방식으로 잔여 공간 오프셋을 추정합니다. 따라서 Sparse2comm은 정렬된 파이프라인 내에서 의미론적 완전성, 시간적 일관성, 공간적 정렬을 순차적으로 복원합니다. DAIR-V2X, OpenV2V, V2V4Real 데이터셋에 대한 광범위한 실험을 통해 Sparse2comm이 경쟁력 있는 정상(clean) 환경 정확도를 유지하면서도 개별 및 복합적인 실세계 저하 환경에서 일관되게 강건성을 향상시킴을 보여줍니다. 선택적 특징 통신 기준선(baseline) 모델인 Where2comm과 비교했을 때, Sparse2comm은 세 데이터셋의 복합 저하 설정에서 [email omitted][email omitted] 각각 +20.15/+11.79, +12.66/+11.07, +15.36/+12.61 향상시켰습니다.
원문 초록
Cooperative perception improves autonomous driving by sharing complementary observations among vehicles and roadside infrastructure for 3D object detection. However, practical deployment is constrained by limited bandwidth and unreliable cooperation, where packet loss, transmission delay, and spatial misalignment jointly degrade the cooperative feature stream. Existing methods often reduce communication cost or compensate for one degradation type, leaving coupled disturbances insufficiently addressed. To address this problem, we propose Sparse2comm, a bandwidth-efficient and robust cooperative 3D object detection framework that treats unreliable cooperation as progressive restoration over degraded cooperative features. Sparse Feature Encoding first encodes communication as randomly mask-sampled foreground features transmitted by collaborating agents, from which the ego vehicle reconstructs dense semantic representations. This sparse-to-dense mechanism learns to infer missing object-centric content from sparse observations, enabling ultra-low-bandwidth communication and packet-loss recovery within the same representation. On the semantically restored features, Latency-Aware Alignment predicts motion flow to compensate delayed messages, and Self-Calibrating Fusion estimates residual spatial offsets in a self-supervised manner before adaptive cross-agent fusion. Sparse2comm therefore restores semantic completeness, temporal consistency, and spatial alignment in an ordered pipeline. Extensive experiments on DAIR-V2X, OpenV2V, and V2V4Real show that Sparse2comm maintains competitive clean accuracy and consistently improves robustness under individual and mixed real-world degradations. Compared with the selective feature communication baseline Where2comm, Sparse2comm improves mixed-setting [email omitted][email omitted] by +20.15/+11.79, +12.66/+11.07, and +15.36/+12.61 on the three datasets, respectively.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
15 pages. Code: https://github.com/yanglei18/Sparse2comm