EgoRefine: 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 궤적 조건부 신뢰도 인지 융합
EgoRefine: Ego-Referenced Predictive Alignment and Trajectory-Conditioned Reliability-Aware Fusion for Asynchronous Collaborative Perception
한국어 초록
협력 인지는 연결된 에이전트(agent)들이 상호 보완적인 관측을 공유하여 3D 객체 검출(object detection)을 수행할 수 있게 함으로써, 감지 범위를 확장하고 가림 현상을 완화합니다. 그러나 비동기 통신 환경에서는 협력 특징(feature)이 시간적 지연을 동반하여 도착합니다. 기존의 예측 기반 방법들은 주로 송신 에이전트 자체의 이력을 바탕으로 이러한 특징을 보상하므로, 자차(ego) 에이전트의 현재 관측과의 잔여 정렬 오차가 남게 되며, 후속 융합 과정에서도 정렬 품질의 공간적 변동을 간과하는 경우가 많습니다. 본 논문에서는 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 신뢰도 인지 융합 프레임워크인 EgoRefine을 제안합니다. Ego-referenced Predictive Alignment 모듈은 현재 자차 특징을 활용해 협력 궤적 필드 예측을 유도하고 자차 기준 궤적 방향을 따라 샘플링 오프셋을 정제합니다. Trajectory-conditioned Reliability-aware Fusion 모듈은 자차와 협력 스트림 간의 궤적 불일치 및 방향성 정제 크기를 정렬 단서로 취급하여, 이를 통해 정렬된 특징 간의 관계를 조건화하고 합성곱(convolutional) 융합 전에 두 스트림의 가중치를 적응적으로 재조정합니다. V2V4Real 및 DAIR-V2X-Seq에 대한 실험 결과, EgoRefine은 TraF-Align 대비 [email omitted] 및 [email omitted] 각각 평균 1.6포인트와 2.9포인트 향상된 성능을 보였습니다. 소스 코드는 https://github.com/godk0509/EgoRefine 에서 공개될 예정입니다.
원문 초록
Collaborative perception enables connected agents to share complementary observations for 3D object detection, extending sensing range and mitigating occlusion. Under asynchronous communication, however, cooperative features arrive with temporal delay. Existing prediction-based methods compensate for these features mainly from the transmitting agent's own history, leaving residual misalignment with the ego agent's current observation; subsequent fusion also often overlooks spatial variations in alignment quality. We propose EgoRefine, an ego-referenced predictive alignment and reliability-aware fusion framework for asynchronous collaborative perception. Its Ego-referenced Predictive Alignment module uses the current ego feature to guide cooperative trajectory-field prediction and refines the sampling offsets along an ego-referenced trajectory direction. Its Trajectory-conditioned Reliability-aware Fusion module treats the trajectory discrepancy between the ego and cooperative streams and the directional refinement magnitude as alignment cues, using them to condition the relation between aligned features and adaptively reweight the two streams before convolutional fusion. Experiments on V2V4Real and DAIR-V2X-Seq show that EgoRefine outperforms TraF-Align by 1.6 and 2.9 points on average in [email omitted] and [email omitted], respectively. The source code will be made publicly available at https://github.com/godk0509/EgoRefine.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DinoLink: 대역폭 제약 협력형 V2X 지각을 위한 토큰 중심 표현 압축 프레임워크
DinoLink: A Token-Centric Representation Compression Framework for Bandwidth-Constrained Collaborative V2X Perception
고정밀 원격 지각은 차량-만물(V2X) 네트워크의 심각한 대역폭 제약으로 인해 종종 어려움을 겪는다. 우리는 \textit{DinoLink}를 제안한다. 이는 차량-클라우드 협력 추론을 위해 원시 픽셀 스트리밍을 이산적 의미 통신으로 대체하는 토큰 중심 압축 프레임워크이다. DinoLink는 이중 희소성(dual-sparsity) 아키텍처를 사용한다: 현저성(saliency) 인식 선택기가 중복된 배경 토큰을 제거하고, 잔차 벡터 양자화(RVQ) 모듈이 특징을 컴팩트한 코드북 인덱스로 압축한다. 경량 인덱스와 위치 사전(positional priors)만 전송함으로써 DinoLink는 비압축 전송 대비 $139\times$ 비트레이트 감소를 달성하면서 nuScenes 데이터셋에서 경쟁력 있는 32.8\% mAP를 유지한다. 배포 시뮬레이션은 LoRa와 같은 좁은 대역 환경에서 $34.5\times$ 가속을 추가로 보여준다. 우리의 결과는 DinoLink가 제약된 V2X 시나리오에서 고충실도 원격 지각을 위한 견고하고 대역폭 효율적인 프론트엔드임을 입증한다. 코드는 https://github.com/UGA-MOBILITY-LAB/dino_link 에서 공개적으로 이용 가능하다.
SimBEV2X: 다중 과제 차량-만물(V2X) 협력 인식을 위한 대규모 데이터셋 및 데이터 생성 도구
SimBEV2X: A Large-Scale Dataset and Data Generation Tool for Multi-Task Vehicle-to-Everything Cooperative Perception
차량-만물(V2X) 통신을 통한 협력 인식은 가림(occlusion) 및 제한된 센서 범위와 같은 개별 자율주행 차량의 고유한 물리적 한계를 극복할 수 있다. 그러나 견고한 V2X 알고리즘, 특히 조감도(bird's-eye view, BEV) 표현과 같은 통합 공간 표현에 의존하는 알고리즘의 개발은 대규모, 다중 모달, 다중 과제 데이터셋의 부재로 인해 저해되고 있다. 또한 동기화된 실세계 다중 에이전트 데이터를 대규모로 수집하고 주석하는 것은 비용이 지나치게 높다. 이로 인해 기존 V2X 데이터셋은 규모와 범위 모두에서 현저히 제한적인 상황이 발생했다. 이를 극복하기 위해 CARLA 시뮬레이터 기반의 고급 합성 데이터 생성 도구인 SimBEV2X를 제안한다. SimBEV2X는 무작위 운전 시나리오를 자동으로 생성하여, 차량과 RSU(roadside unit) 모두로부터 고유 추적 ID가 부여된 3D 바운딩 박스, HD 맵 정보, BEV 분할(segmentation) 맵, 의미론적 점유(occupancy) 복셀 그리드 등 다양한 유형의 ground truth와 함께 다중 모달 센서 데이터를 수집한다. 또한 현재까지 최대 규모의 V2X 인식 데이터셋인 SimBEV2X 데이터셋을 공개한다. 이 데이터셋은 다양한 도로 네트워크에 걸쳐 최대 8대의 연결된 차량과 최대 4개의 RSU가 포함된 258개의 장면으로 구성된다. SimBEV2X 데이터셋은 기존 V2X 데이터셋보다 한 자릿수 더 크며, 102,200개의 프레임, 588,520개의 LiDAR 포인트 클라우드, 300만 개 이상의 이미지, 2,700만 개 이상의 바운딩 박스, 그리고 포괄적인 기타 주석을 포함한다. 마지막으로 CoopDet3D를 사용하여 SimBEV2X 데이터셋에 대한 강력한 기준선을 수립하고, 문맥 인식 다중 에이전트 특징 집계를 위해 CoopDet3D와 융합 축 어텐션(fused axial attention, FAX)을 결합한 새로운 아키텍처인 CoBEVFusion을 제안하여 우수한 성능을 달성한다. SimBEV2X, SimBEV2X 데이터셋, CoBEVFusion은 https://simbev2x.org 및 https://github.com/GoodarzMehr/SimBEV2X에서 이용할 수 있다.
RECO: 도로변 3D 검출에서 외부 파라미터 섭동에 대한 영역 인식 보정
RECO: Region-Aware Compensation for Extrinsic Perturbations in Roadside 3D Detection
지능형 교통 시스템에서 도로변 3D 객체 검출은 교통 이해, 협력형 조기 경보, 안전한 자율주행에 필수적인 넓은 영역 인식을 제공한다. 그러나 기존 방법들은 카메라 외부 파라미터(extrinsic)에 대한 높은 민감도로 인한 문제가 있다. 일시적인 지터(jitter)나 지속적인 드리프트(drift)로 나타나는 미세한 편차조차 투영 기하학에 의해 크게 증폭될 수 있다. 이러한 연쇄 효과는 심각한 특징 불일치와 저하된 위치 추정을 초래한다. 이 한계를 완화하기 위해, 우리는 조각별 6-DoF 자세 오프셋을 사용하여 외부 파라미터를 보정하는 영역 인식 외부 파라미터 보정 프레임워크인 RECO를 제안한다. RECO는 학습 가능한 거리 경계를 예측하여 장면을 근거리와 원거리 영역으로 분할하고, 영역별 자세 보정을 추정한다. 미분 가능한 시그모이드 게이트가 두 보정된 기하를 부드럽게 혼합하여 연속적인 BEV 샘플링을 유지하고 안정적인 최적화를 촉진한다. 외부 파라미터 정제를 지도하기 위해, 3D ground truth에서 투영된 2D 바운딩 박스와 2D 어노테이션을 비교하는 보조 재투영 손실을 도입하고, 이를 표준 검출 목적 함수와 함께 공동 최적화한다. 외부 파라미터 섭동 하에서 DAIR-V2X-I 및 Rope3D 벤치마크에 대한 광범위한 실험은 yaw 및 $z$축 편차 모두에서 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. RECO는 일시적 섭동에서 지속적 이동으로도 일반화되며, 엄격한 보정(calibration) 불확실성 하에서도 매우 경쟁력 있는 성능을 유지한다.
ViCo3D: 비전 기반 모델을 활용한 LiDAR 기반 협업 3D 객체 검출
ViCo3D: Empowering LiDAR-based Collaborative 3D Object Detection with Vision Foundation Models
차량-만물 연결(V2X) 시스템에서 LiDAR 기반 협업 3D 인지는 일반적으로 에이전트 간 조감도(BEV) 특징을 융합하는 방식에 의존한다. 그러나 현재 BEV 표현은 대개 처음부터 학습된 LiDAR 백본으로 추출되며, 기하학이 지배적이고 일반적인 의미론적 사전지식이 부족하여 특징 수준의 협업 효과를 본질적으로 제한한다. 한편, 대규모 이미지 데이터로 사전학습된 비전 기반 모델(VFM)은 2D 작업에 대해 범용적이고 정보가 풍부한 시각 표현을 학습하는 강력한 능력을 보여 왔으며, 협업을 위한 에이전트별 LiDAR BEV 표현을 향상시킬 잠재력을 갖고 있다. 이러한 잠재력에도 불구하고, 상당한 이미지-포인트 클라우드 모달리티 간극으로 인해 VFM을 LiDAR 기반 3D 검출에 적응시키는 것은 여전히 어렵다. 이 간극을 메우기 위해, 우리는 VFM 기반의 협업 3D 객체 검출 프레임워크인 ViCo3D를 제안한다. 구체적으로 ViCo3D는 세 가지 측면에서 VFM을 LiDAR 기반 협업 인지에 적응시킨다. 첫째, ViCo3D는 포인트 클라우드를 3채널 이미지로 BEV 평면에 투영하여 DINOv2가 LiDAR 입력으로부터 BEV 공간 시각 특징을 추출할 수 있게 한다. 둘째, 이러한 DINOv2 기반 특징을 LiDAR 기하학적 특징과 효과적으로 통합하기 위해 ViCo3D는 단일 에이전트 인코더 내에 다중 스케일 BEV 융합 모듈을 도입한다. 셋째, ViCo3D는 여러 에이전트로부터 상보적인 정보를 집계하기 위해 자차 중심(ego-centric) 교차 에이전트 융합 전략을 채택한다. DAIR-V2X 및 V2XSet에서의 실험은 ViCo3D가 최첨단 3D 검출 성능을 달성함을 보여준다. 주목할 점은 DAIR-V2X에서 기존 방법 대비 최대 1.8배 더 큰 협업 이득을 제공한다는 것이다. 향후 연구를 위해 코드를 공개할 예정이다.
C2E: 다중 교사 대조적 지식 증류를 통한 자차 전용 3D 객체 검출 성능 향상
C2E: Boosting Ego-Only 3D Object Detection via Multi-Teacher Contrastive Knowledge Distillation
LiDAR 기반 3D 객체 검출은 자율주행 시스템에 필수적이다. 그러나 기존의 자차 전용 인식(Eo-Perception)은 복잡한 실외 환경에서 제한된 시야와 폐색(occlusion) 문제로 인해 성능 병목이 발생한다. 최근 다중 에이전트 협력 인식(Co-Perception) 연구가 우수한 성능을 보여주고 있으나, 높은 통신 비용과 누적된 위치 오차가 실제 적용을 저해한다. 이를 해결하기 위해, 우리는 다중-단일(M2S) 에이전트 대조적 지식 증류 프레임워크를 통한 새로운 C2E(Co-Perception to Eo-Perception) 패러다임을 탐구한다. M2S 프레임워크는 먼저 보다 안정적인 특징을 제공하기 위한 다단계 특징 향상(Multi-Level Feature Enhancement) 모듈을 설계하고, C2E 패러다임 내 포인트 클라우드 및 특징 분포의 도메인 격차를 완화하기 위해 보조 포인트 클라우드 재구성(Auxiliary Point Cloud Reconstruction)과 다중 교사 대조적 증류(Multi-Teacher Contrastive Distillation) 메커니즘을 도입한다. 이를 통해 M2S는 협력 인식의 우수한 성능을 유지하면서 통신 지연 및 위치 오차와 같은 단점을 효과적으로 회피할 수 있다. V2XSet, V2V4Real, DAIR-V2X 데이터셋에 대한 광범위한 실험을 통해, 최신 CoSDH 모델 및 기타 우수한 3D 검출기와 결합할 때 M2S 프레임워크의 효과성과 범용성을 확인하였다. M2S 프레임워크는 통신 비용을 전혀 추가하지 않으면서 3D mAP 성능을 최대 8.64%까지 향상시킬 수 있다.
대역폭 효율적인 협력적 3D 의미론적 점유 예측을 위한 희소성 인식 벡터 양자화
Sparse-Aware Vector Quantization for Bandwidth-Efficient Collaborative 3D Semantic Occupancy Prediction
협력적 인식(collaborative perception)은 여러 차량이 상호 보완적인 인식 정보를 교환할 수 있도록 함으로써 단일 에이전트 인식을 확장한다. 그러나 이는 인식 성능 향상과 통신 오버헤드 사이의 본질적인 트레이드오프를 발생시키며, 이는 정밀한 공간 구조에 의존하는 3D 의미론적 점유 예측에서 특히 심각하다. 기존 방법들은 주로 3D 특징을 2D로 압축하여 심각한 공간 정보 손실을 초래하거나, 밀집된 3D 표현을 전송하여 실제 배포를 저해한다. 이러한 한계를 극복하기 위해, 우리는 대역폭 효율적인 협력적 벡터 양자화 의미론적 점유 예측(VQSOP) 프레임워크를 제안한다. VQSOP는 희소성 인식 벡터 양자화(SAVQ) 메커니즘을 활용하여 3D 장면의 희소성을 이용해 정보가 풍부한 영역을 압축적으로 인코딩함으로써, 완전한 기하학적 문맥을 보존하면서 통신 오버헤드를 대폭 절감한다. 또한 구조적 일관성과 특징 연속성을 향상시키기 위해, 국소적 고주파 세부 정보와 광범위한 문맥 의미론을 동적으로 융합하는 이중 분기 적응적 공간 정제(ASR) 모듈을 설계한다. 광범위한 실험을 통해 우리의 접근법이 최대 82배의 통신량 절감을 달성하면서 최첨단 성능을 이룸을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
The source code will be made publicly available at https://github.com/godk0509/EgoRefine