본 논문에서는 캘리브레이션되지 않은(uncalibrated) 협력 주행 뷰로부터 동적 장면을 재구성하기 위한 피드포워드(feedforward) 3D 가우시안 스플래팅(3D Gaussian Splatting) 프레임워크인 FRUC를 제안합니다. 기존의 다중 에이전트(agent) 재구성 프레임워크는 정밀한 공간 캘리브레이션을 요구하고 장면별 최적화(per-scene optimization) 속도가 느리다는 엄격한 전제 조건으로 인해 제약을 받는 경우가 많았습니다. 본 논문에서는 분산형 다중 차량 네트워크를 시공간적으로 비구조화된 자차 중심(ego-centric) 멀티 카메라 시스템으로 개념화하여 이 과제를 재검토합니다. 여기서 핵심 과제는 재구성 효율성을 유지하면서, 자차가 정확하게 관측한 가시 영역 기하구조(visible geometry)를 손상시키지 않고 협력을 통해 자차 중심의 차폐된 기하구조를 향상하는 데 있습니다. 효율적인 재구성을 위해 FRUC는 시각적으로 접지된(visual grounded) 기하학적 트랜스포머(Transformer) 백본을 기반으로 구축되어, 유연한 수의 다중 차량 시점으로부터 원샷(one-shot)이자 캘리브레이션 없는 추론(inference)을 가능하게 합니다. 캘리브레이션되지 않은 에이전트 간 정렬 오류가 존재하는 상황에서 비파괴적인 기하구조 보충을 달성하기 위해, FRUC는 먼저 에이전트별 시공간 상관관계를 모델링하여 잠재 사전 정보(latent priors)로서 차폐 변화를 명시적으로 도출하는 자차 중심 인과적 차폐 필드(ego-centric causal occlusion field)를 도입합니다. 이러한 차폐 사전 정보를 바탕으로, 제로 초기화 주입(zero-initialized injection)을 통해 에이전트 간 통합을 결정론적 잔차 노이즈 제거 과정으로 정식화함으로써, 까다로운 에이전트 간 융합을 견고한 협력적 사각지대 완성을 위한 유계 잔차 학습(bounded residual learning)으로 전환합니다. 실제 환경의 V2X-Real 및 UrbanIng-V2X 데이터셋을 대상으로 한 광범위한 평가를 통해, FRUC는 동적 협력 주행 환경의 장면 재구성 분야에서 새로운 최고 성능(SOTA)을 달성함을 보였으며, 렌더링 품질과 효율성 모두에서 기존 방법을 크게 능가했습니다. 코드는 https://github.com/yihangtao/FRUC.git 에서 이용할 수 있습니다.
협력 인지는 연결된 에이전트(agent)들이 상호 보완적인 관측을 공유하여 3D 객체 검출(object detection)을 수행할 수 있게 함으로써, 감지 범위를 확장하고 가림 현상을 완화합니다. 그러나 비동기 통신 환경에서는 협력 특징(feature)이 시간적 지연을 동반하여 도착합니다. 기존의 예측 기반 방법들은 주로 송신 에이전트 자체의 이력을 바탕으로 이러한 특징을 보상하므로, 자차(ego) 에이전트의 현재 관측과의 잔여 정렬 오차가 남게 되며, 후속 융합 과정에서도 정렬 품질의 공간적 변동을 간과하는 경우가 많습니다. 본 논문에서는 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 신뢰도 인지 융합 프레임워크인 EgoRefine을 제안합니다. Ego-referenced Predictive Alignment 모듈은 현재 자차 특징을 활용해 협력 궤적 필드 예측을 유도하고 자차 기준 궤적 방향을 따라 샘플링 오프셋을 정제합니다. Trajectory-conditioned Reliability-aware Fusion 모듈은 자차와 협력 스트림 간의 궤적 불일치 및 방향성 정제 크기를 정렬 단서로 취급하여, 이를 통해 정렬된 특징 간의 관계를 조건화하고 합성곱(convolutional) 융합 전에 두 스트림의 가중치를 적응적으로 재조정합니다. V2V4Real 및 DAIR-V2X-Seq에 대한 실험 결과, EgoRefine은 TraF-Align 대비 [email omitted] 및 [email omitted] 각각 평균 1.6포인트와 2.9포인트 향상된 성능을 보였습니다. 소스 코드는 https://github.com/godk0509/EgoRefine 에서 공개될 예정입니다.
협력 인식(Collaborative Perception, CP) 에이전트 간 이종성은 서로 다른 센서, 아키텍처, 학습 데이터로 인한 도메인 격차 때문에 신흥 CP 프레임워크의 주요 과제이다. 선행 연구는 모델 재학습이나 에이전트 유형별 해석기를 통해 통합 공간에서 특징을 정렬하는 방식으로 이 과제를 완화한다. 이러한 전략은 (a) 이웃 구성에 대한 접근을 요구하고, (b) 실시간 CP 배포를 완전히 다루지 못하며, (c) 실행 시점에 새로 합류하는 보지 못한 에이전트에 대해 일반화가 취약하다. 이러한 과제를 극복하기 위해, 우리는 익명·실시간·경량 이종 CP를 위한 프롬프트-임베딩(Prompt-Embedding) 프레임워크 PEARL을 제안한다. PEARL은 여러 CP 해석기를 지원하며, 병렬로 학습된 두 개의 경량 다중 스케일 해석기를 사용해 새로 합류하는 에이전트에 대해 실시간으로 하나를 선택한다: 협력 검출을 위해 현저한 영역을 정렬하는 희소 검출(LWSD) 해석기,와 빠른 해석기 선택을 위해 에이전트 불변 특징을 생성하는 밀집·도메인 불변(LWDDI) 해석기. 두 해석기 모두 저랭크(low-rank) 시각 프롬프트를 사용해 연산, 저장, 모델 복잡도를 줄인다. 시뮬레이션(OPV2V, V2XSet) 및 실측(DAIR-V2X) 데이터셋에 대한 광범위한 실험은 PEARL이 시뮬레이션과 실세계 협력 주행 시나리오 전반에서 일반화됨을 보여준다. 실시간 모델 선택 전략은 무작위 선택 기준선 대비 평균 정밀도(Average Precision, AP) 8.2% 향상을 달성하며, 평균 1.67 ms에서 동작한다. PEARL은 주로 실시간 CP를 위해 설계되었지만, 전통적인 오프라인 학습에서도 최신 이종 CP 프레임워크를 평균 5.6% AP만큼 능가하며 통신 비용을 최대 34.7배 줄인다. 마찬가지로 중요한 점은, PEARL이 에이전트의 구성이나 모델 설정 공유를 요구하지 않아 독점적이거나 사적인 정보를 보호한다는 것이다. 이러한 결과는 PEARL을 이종 협력 인식을 위한 확장 가능하고 실용적인 프레임워크로 자리매김한다.
자율주행 협력 인식에서 3D 의미론적 점유 예측(3D semantic occupancy prediction)의 통신 과부하 문제를 해결하기 위해, VQSOP 프레임워크는 3D 장면의 희소성을 활용하는 SAVQ(Sparse-Aware Vector Quantization) 메커니즘으로 고차원 특징을 공유 코드북의 이산 인덱스로 압축 전송하고, ASR(Adaptive Spatial Refinement) 모듈로 공간 구조를 복원한다. 실험 결과 단일 에이전트 대비 mIoU 4.41% 향상과 함께 최대 82배 통신량 절감을 달성하며 최첨단 성능을 기록했다.
협력 인식(Co-Perception)의 성능을 자차 전용 인식(Eo-Perception)으로 전이하는 새로운 C2E 패러다임을 제안하며, 다중 교사 대조적 지식 증류(Multi-Teacher Contrastive Distillation) 프레임워크인 M2S를 통해 추론 시 통신 비용 없이 V2XSet 등 데이터셋에서 3D mAP를 최대 8.64% 향상시켰다.
Collaborative perception (CP) improves scene understanding through multi-agent information sharing, yet LiDAR-centric systems remain costly and vulnerable in adverse weather. Camera--4D radar offers a practical alternative, but their synergy is still underexplored in CP. We introduce RC-GeoCP, which promotes low-cost, weather-resilient, and geometrically stable radar from an ego-level auxiliary cue to a cross-agent collaboration anchor. To resolve misalignment caused by depth ambiguity and spatial dispersion across agents, RC-GeoCP establishes an ego-normalized geometric consensus: the same radar-derived reliability prior is reused to ground local BEV features, select complementary messages, and weight received evidence. Specifically, Geometric Structure Rectification (GSR) aligns visual semantics with geometry derived from radar to generate spatially grounded, geometry-consistent representations. Uncertainty-Aware Communication (UAC) then serves as an information filter that inherits rectified features from GSR, leveraging inter agent disagreement to steer selective communication toward the most informative regions. Finally, the Consensus-Driven Assembler (CDA) aggregates multi-agent information via ego-normalized geometric anchors to form a spatially coherent representation. We establish a unified radar-camera CP evaluation protocol on V2X-Radar and V2X-R, demonstrating a strong accuracy--communication trade-off. Code will be released soon.
V2X 대역폭 제약 하에서 고정밀 원격 지각을 위해 DinoLink는 원시 픽셀 스트리밍 대신 DINOv2 토큰을 현저성 인식 선택기로 줄이고 잔차 벡터 양자화(RVQ)로 코드북 인덱스에 압축하는 토큰 중심 차량-클라우드 협력 추론 프레임워크를 제안한다. 경량 인덱스와 위치 정보만 전송해 비압축 대비 139배 비트레이트 감소를 달성하면서 nuScenes에서 32.8% mAP를 유지했고, LoRa 같은 좁은 대역 환경에서는 34.5배 가속이 확인되었다.
공-지 협업 인지는 실세계 동적 환경에서 강인한 시각 이해에 필수적입니다. 그러나 기존 연구는 일반적으로 협업을 단일 태스크 시점 간(cross-view) 융합으로 공식화하여, 위치 추정(localization), 타겟 연관(target association), 세밀한 파싱(fine-grained parsing) 간의 기능적 의존성을 간과합니다. 또한, 공중 및 지상 시점의 이질적 특성으로 인해 상당한 기하학적, 스케일, 및 폐색(occlusion) 차이가 발생하며, 이는 균일한 특징(feature) 공유가 부정적 전이(negative transfer)에 취약하게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 공-지 인지를 점진적 태스크 간 협업 태스크로 모델링하고 745,000개 이상의 원본 비디오 프레임으로 구성된 시공간 정렬 벤치마크인 공-지 점진적 협업(AGPC) 벤치마크를 구축했습니다. 이 벤치마크를 기반으로, 우리는 공중 전역 위치 추정에서 지상 타겟 연관 및 아이덴티티 인식 파싱까지 협업을 점진적으로 구성하는 Coarse-to-fine 프레임워크인 사회화 공동 인지(SCP)를 제안합니다. 핵심 모듈인 이중 층 라우터(DLR)는 입력 측 멀티 스케일 전문가 선택과 출력 측 태스크 조건화 변조를 분리하여, 유해한 간섭을 억제하면서 선택적 시점 간 및 태스크 간 상호작용을 가능하게 합니다. 광범위한 실험을 통해 SCP의 효과성이 입증되었습니다. 이는 3.73%의 공진화 이득과 평균 다운스트림 성능에서 7.86%의 향상을 달성했습니다. 이러한 결과는 이질적인 공-지 인지에서 태스크 조건화 협업이 균일한 융합보다 더 효과적임을 보여줍니다. 코드는 https://github.com/g1136639260-spec/AGSCP에서 확인할 수 있습니다.