협력형 3D 추적은 일관된 식별자(ID)를 유지하면서 여러 에이전트와 시간에 걸친 상호보완적인 관측 정보를 통합해야 합니다. 증거 통합과 식별자 상속이 동일한 매칭 결정을 공유할 경우, 시점 간 외형 차이 및 공간적 불일치로 인해 발생하는 오류가 특징 융합과 트랙 연속성을 모두 저해할 수 있습니다. 본 논문에서는 인스턴스 수용과 식별자 관리를 분리하는 선 융합 후 결합(fuse first, bind later) 프레임워크인 FFBL-Coop을 제안합니다. 신뢰도 순위 슬롯 수용(CSA)은 신뢰도와 공간적 근접성을 바탕으로 협력 쿼리를 사용 가능한 자차(ego) 슬롯에 할당합니다. 통합 표현 집약(URA)은 협력 의미 특징과 정렬된 앵커를 활용해 자차 특징 검색을 유도하며, 공유 트랜스포머 디코더 내에서 증강된 쿼리 뱅크를 정제합니다. 정제 후 협력 우선 식별자 앵커링(CPIA)은 학습된 연관성과 지속적인 매핑을 결합하여 프레임 전반에 걸쳐 수용된 식별자 할당을 확립합니다. 공유 코드북은 전송 페이로드를 줄이면서도 압축되지 않은 버전과 유사한 수준의 AP 및 AMOTA를 유지합니다. FFBL-Coop은 V2X-Seq에서 0.611/0.548, Griffin-25M에서 0.688/0.653의 AMOTA/AP를 달성합니다. 코드는 공개될 예정입니다.
차량-만물(V2X) 통신을 통한 협력 인식은 가림(occlusion) 및 제한된 센서 범위와 같은 개별 자율주행 차량의 고유한 물리적 한계를 극복할 수 있다. 그러나 견고한 V2X 알고리즘, 특히 조감도(bird's-eye view, BEV) 표현과 같은 통합 공간 표현에 의존하는 알고리즘의 개발은 대규모, 다중 모달, 다중 과제 데이터셋의 부재로 인해 저해되고 있다. 또한 동기화된 실세계 다중 에이전트 데이터를 대규모로 수집하고 주석하는 것은 비용이 지나치게 높다. 이로 인해 기존 V2X 데이터셋은 규모와 범위 모두에서 현저히 제한적인 상황이 발생했다. 이를 극복하기 위해 CARLA 시뮬레이터 기반의 고급 합성 데이터 생성 도구인 SimBEV2X를 제안한다. SimBEV2X는 무작위 운전 시나리오를 자동으로 생성하여, 차량과 RSU(roadside unit) 모두로부터 고유 추적 ID가 부여된 3D 바운딩 박스, HD 맵 정보, BEV 분할(segmentation) 맵, 의미론적 점유(occupancy) 복셀 그리드 등 다양한 유형의 ground truth와 함께 다중 모달 센서 데이터를 수집한다. 또한 현재까지 최대 규모의 V2X 인식 데이터셋인 SimBEV2X 데이터셋을 공개한다. 이 데이터셋은 다양한 도로 네트워크에 걸쳐 최대 8대의 연결된 차량과 최대 4개의 RSU가 포함된 258개의 장면으로 구성된다. SimBEV2X 데이터셋은 기존 V2X 데이터셋보다 한 자릿수 더 크며, 102,200개의 프레임, 588,520개의 LiDAR 포인트 클라우드, 300만 개 이상의 이미지, 2,700만 개 이상의 바운딩 박스, 그리고 포괄적인 기타 주석을 포함한다. 마지막으로 CoopDet3D를 사용하여 SimBEV2X 데이터셋에 대한 강력한 기준선을 수립하고, 문맥 인식 다중 에이전트 특징 집계를 위해 CoopDet3D와 융합 축 어텐션(fused axial attention, FAX)을 결합한 새로운 아키텍처인 CoBEVFusion을 제안하여 우수한 성능을 달성한다. SimBEV2X, SimBEV2X 데이터셋, CoBEVFusion은 https://simbev2x.org 및 https://github.com/GoodarzMehr/SimBEV2X에서 이용할 수 있다.
다중 뷰 다중 객체 연관 및 추적(MvMoAT)은 카메라 뷰 간 객체를 연관시키고 시간에 따라 추적하여, 다중 플랫폼 협력 인식에서 동일성 유지와 포렌식 궤적 복원을 지원한다. 기존 다중 객체 추적과 달리, MvMoAT는 외관을 왜곡하고 뷰 간 연관 및 시간적 추적을 약화시키는 빈번한 시점 변화에 직면한다. 우리는 다중 뷰 연관 및 식별을 위한 시점 강건 특징 통합(Feature Unification) 프레임워크인 FUSION을 제안한다. MAC(Multi-cue Adaptive Combination) 모듈은 시점 불변 단서와 외관 특징을 적응적으로 통합하여 뷰 간 연관을 개선하고, OMFS(Online Multi-view Feature Synchronization)는 과거 및 뷰 간 프레임에 걸쳐 보행자 특징을 집계하여 시간적으로 일관된 추적을 수행한다. 또한 카메라 간 및 카메라 내 시점 변화가 상당한 대규모 벤치마크 RealMvMoAT를 소개한다. 이는 10개 장면에 걸친 7대 카메라(무인항공기(UAV) 5대, 지상 뷰 2대)로부터 504.9K 프레임을 포함하며, 700만 개 이상의 동일성 라벨이 부여된 바운딩 박스를 제공한다. 모든 카메라는 무작위적이고 상당한 움직임을 보인다. 우리가 아는 한, RealMvMoAT는 현재까지 가장 큰 MvMoAT 데이터셋이다. 그 규모, 시점 다양성, 복잡한 플랫폼 움직임, 현실적인 궤적은 향후 연구를 위한 포괄적인 자원을 제공한다. RealMvMoAT와 6개의 공개 벤치마크에서의 실험은 FUSION이 최신 최고(state-of-the-art) 성능을 달성함을 보여준다.
Vehicle-to-Everything(V2X) 통신을 통한 협력적 인식(cooperative perception)은 가림을 완화하고 시야(field of view)를 확장함으로써 차량 인식을 향상시킬 상당한 잠재력을 제공한다. 그러나 기존 연구는 효율성, 지연 시간(latency), 실세계 배포 가능성(deployability)과 같은 중요한 시스템 수준 고려사항을 다루지 않고 정확도 지표 개선에 주로 초점을 맞춰 왔다. 주목할 점은, 대부분의 기존 시스템이 완전 정밀도 모델에 의존하여 높은 연산 및 전송 비용을 발생시키며, 이로 인해 자원이 제한된 환경에서의 실시간 운용이 비현실적이라는 것이다. 본 논문에서는 다중 모달(multi-modal), 다중 에이전트 V2X 협력적 인식의 효율적이고 확장 가능한 배포를 위해 특별히 설계된 최초의 완전 양자화 다중 에이전트 시스템인 QuantV2X를 소개한다. QuantV2X는 신경망 모델과 전송되는 메시지 표현 모두에 걸친 통합 end-to-end 양자화 전략을 도입하여 연산 부하와 전송 대역폭을 동시에 줄인다. 주목할 만하게, 저비트(low-bit) 제약 하에서도 QuantV2X는 완전 정밀도 시스템에 필적하는 정확도를 달성한다. 더 중요한 것은, 배포 지향(deployment-oriented) 지표로 평가할 때 QuantV2X가 시스템 수준 지연 시간을 3.2배 줄이고 완전 정밀도 베이스라인 대비 mAP30에서 +9.5의 개선을 달성한다는 점이다. 또한 QuantV2X는 더 효과적으로 스케일링(scaling)되어, 더 크고 성능이 뛰어난 모델을 엄격한 메모리 예산 내에 맞출 수 있게 한다. 이러한 결과는 실세계 배포를 위한 완전 양자화 다중 에이전트 중간 융합(intermediate fusion) 시스템의 타당성을 보여준다. 해당 시스템은 이 분야의 연구를 촉진하기 위해 공개될 예정이다: https://github.com/ucla-mobility/QuantV2X.