파편에서 글로벌 맵으로: 대규모 언어 모델을 활용한 벡터화 지도 통합 학습
From Fragments to Global Maps: Learning Vectorized Map Aggregation with Large Language Models
한국어 초록
대규모 벡터화 HD 맵(고정밀 지도)은 자율주행의 인지, 위치 추정(localization), 경로 계획(planning)에 필수적인 구조화된 도로 정보를 제공합니다. 이러한 지도를 구축하려면 차량 궤적을 따라 수집된 노이즈가 있고 파편화되며 겹치는 로컬 예측들을 일관된 글로벌 맵으로 통합(aggregation)해야 합니다. 기존의 통합 방식은 일반적으로 파편 연관(association) 및 정제를 위한 수작업 규칙에 의존합니다. 그러나 고정된 임계값 세트는 도로 구조의 다양성과 예측 오차를 효과적으로 처리하지 못해 검출기(detector)별 튜닝이나 수동 조정을 필요로 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 벡터화 지도 통합을 대규모 언어 모델(LLM)을 통한 조건부 시퀀스 생성으로 정식화하는 데이터 주도형 프레임워크인 MapMergeLLM을 제안합니다. 직렬화된 로컬 벡터 지도가 주어지면, 본 모델은 통합된 글로벌 맵의 폴리라인(polyline)을 직접 예측합니다. 특정 업스트림 검출기에 대한 의존도를 낮추기 위해, 대표적인 예측 오류를 시뮬레이션하는 손상(corruption) 기법을 사용하여 정제된 벡터 지도에서 생성한 합성 로컬 지도로 모델을 학습합니다. 또한 지도 좌표를 정밀하게 표현하기 위해 기하학적 구조를 인식하는 사전학습(geometry-aware pretraining) 기반의 좌표 토크나이저를 도입합니다. 아울러 동일한 지도 요소의 로컬 관측 간 대응 관계를 명시적으로 지도하는 선 단위(line-level) 연관 손실을 제안합니다. 최근의 여러 업스트림 검출기를 사용한 Argoverse2 및 nuScenes 데이터셋 실험 결과, MapMergeLLM은 검출기별 재학습 없이도 휴리스틱 및 최적화 기반 통합 베이스라인보다 크게 우수한 성능을 보이는 것으로 나타났습니다.
원문 초록
Large-scale vectorized HD maps provide structured road information that is essential for perception, localization, and planning in autonomous driving. Constructing such maps requires aggregating noisy, fragmented, and overlapping local predictions collected along a vehicle trajectory into a coherent global map. Existing aggregation methods typically rely on hand-crafted rules for fragment association and refinement. However, a fixed set of thresholds cannot effectively handle variations in road structures and prediction errors, often requiring detector-specific tuning or manual adjustment. To address this limitation, we propose MapMergeLLM, a data-driven framework that formulates vectorized map aggregation as conditional sequence generation with a large language model. Given serialized local vectorized maps, our model directly predicts the aggregated global map polylines. To reduce dependence on any particular upstream detector, we train the model on synthetic local maps generated from clean vector maps using corruptions that simulate representative prediction errors. We further introduce a coordinate tokenizer with geometry-aware pretraining to precisely represent map coordinates. In addition, we propose a line-level association loss that explicitly supervises correspondences between local observations of the same map element. Experiments on Argoverse2 and nuScenes using multiple recent upstream detectors demonstrate that MapMergeLLM substantially outperforms heuristic and optimization-based aggregation baselines without detector-specific retraining.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리
Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection
라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.
EgoRefine: 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 궤적 조건부 신뢰도 인지 융합
EgoRefine: Ego-Referenced Predictive Alignment and Trajectory-Conditioned Reliability-Aware Fusion for Asynchronous Collaborative Perception
협력 인지는 연결된 에이전트(agent)들이 상호 보완적인 관측을 공유하여 3D 객체 검출(object detection)을 수행할 수 있게 함으로써, 감지 범위를 확장하고 가림 현상을 완화합니다. 그러나 비동기 통신 환경에서는 협력 특징(feature)이 시간적 지연을 동반하여 도착합니다. 기존의 예측 기반 방법들은 주로 송신 에이전트 자체의 이력을 바탕으로 이러한 특징을 보상하므로, 자차(ego) 에이전트의 현재 관측과의 잔여 정렬 오차가 남게 되며, 후속 융합 과정에서도 정렬 품질의 공간적 변동을 간과하는 경우가 많습니다. 본 논문에서는 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 신뢰도 인지 융합 프레임워크인 EgoRefine을 제안합니다. Ego-referenced Predictive Alignment 모듈은 현재 자차 특징을 활용해 협력 궤적 필드 예측을 유도하고 자차 기준 궤적 방향을 따라 샘플링 오프셋을 정제합니다. Trajectory-conditioned Reliability-aware Fusion 모듈은 자차와 협력 스트림 간의 궤적 불일치 및 방향성 정제 크기를 정렬 단서로 취급하여, 이를 통해 정렬된 특징 간의 관계를 조건화하고 합성곱(convolutional) 융합 전에 두 스트림의 가중치를 적응적으로 재조정합니다. V2V4Real 및 DAIR-V2X-Seq에 대한 실험 결과, EgoRefine은 TraF-Align 대비 [email omitted] 및 [email omitted] 각각 평균 1.6포인트와 2.9포인트 향상된 성능을 보였습니다. 소스 코드는 https://github.com/godk0509/EgoRefine 에서 공개될 예정입니다.
FedCKA: 다양한 주행 도메인 전반의 연합 3D 인지를 위한 표현 유도 층 개인화
FedCKA: Representation-Guided Layer Personalization for Federated 3D Perception Across Driving Domains
지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.
FFBL-Coop: 연관 분리형 협력형 3D 다중 객체 추적
FFBL-Coop: Association-Decoupled Cooperative 3D Multi-Object Tracking
협력형 3D 추적은 일관된 식별자(ID)를 유지하면서 여러 에이전트와 시간에 걸친 상호보완적인 관측 정보를 통합해야 합니다. 증거 통합과 식별자 상속이 동일한 매칭 결정을 공유할 경우, 시점 간 외형 차이 및 공간적 불일치로 인해 발생하는 오류가 특징 융합과 트랙 연속성을 모두 저해할 수 있습니다. 본 논문에서는 인스턴스 수용과 식별자 관리를 분리하는 선 융합 후 결합(fuse first, bind later) 프레임워크인 FFBL-Coop을 제안합니다. 신뢰도 순위 슬롯 수용(CSA)은 신뢰도와 공간적 근접성을 바탕으로 협력 쿼리를 사용 가능한 자차(ego) 슬롯에 할당합니다. 통합 표현 집약(URA)은 협력 의미 특징과 정렬된 앵커를 활용해 자차 특징 검색을 유도하며, 공유 트랜스포머 디코더 내에서 증강된 쿼리 뱅크를 정제합니다. 정제 후 협력 우선 식별자 앵커링(CPIA)은 학습된 연관성과 지속적인 매핑을 결합하여 프레임 전반에 걸쳐 수용된 식별자 할당을 확립합니다. 공유 코드북은 전송 페이로드를 줄이면서도 압축되지 않은 버전과 유사한 수준의 AP 및 AMOTA를 유지합니다. FFBL-Coop은 V2X-Seq에서 0.611/0.548, Griffin-25M에서 0.688/0.653의 AMOTA/AP를 달성합니다. 코드는 공개될 예정입니다.
Snow Removal for LiDAR Point Clouds with Spatio-temporal Conditional Random Fields
RCFusion: Fusing 4-D Radar and Camera With Bird’s-Eye View Features for 3-D Object Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.