서로 다른 센서의 다중 모달리티 데이터는 3D 인식에 풍부한 상호 보완적 정보를 제공하며, 신뢰할 수 있는 자율주행 시스템의 필수 구성 요소가 되었다. 현재 연구는 일반적으로 여러 인식 과제의 공동 학습을 위해 다중 모달 데이터의 정보를 통합된 조감도(bird's-eye-view, BEV) 특징 맵 위에 융합하기 위해 정교하고 복잡한 융합 전략을 설계한다. 그러나 이러한 단일 특징 맵은 다양한 인식 과제의 요구사항을 동시에 충족하기에 충분한 정보를 담기 어려워 인식 성능이 매우 제한적이다. 이 한계를 완화하기 위해, 본 논문은 3D 인식을 위한 모달리티 적응형 BEV 융합과 과제별 전문가 혼합(Mixture-of-Experts, MoE)을 갖춘 새로운 다중 모달리티 다중 과제 학습 접근법 MATS를 제안한다. 구체적으로, 간단한 모달리티 적응형 BEV 융합 모듈을 설계하여 전역적 교차 모달리티 의존성을 모델링함으로써 BEV 특징을 적응적으로 재보정하고, 다양한 인식 과제를 위한 다양한 BEV 특징 맵을 생성한다. 공동 다중 과제 학습을 위해, 본 논문은 과제를 분리하고 네트워크가 각 특정 과제에 적합한 BEV 특징 후보를 자동으로 선택할 수 있도록 하는 과제별 MoE 모듈을 제안한다. 제안 방법의 효과를 검증하기 위해, 대규모 벤치마크 nuScenes에서 광범위한 실험을 수행한다. 카메라 및 LiDAR 모달리티 입력 데이터를 사용할 때, 제안 방법은 최신 기법(SOTA)을 상당한 마진으로 능가한다. 또한 단일 과제에 대한 실험 결과는 제안 방법이 베이스라인을 크게 능가함을 보여준다. 코드와 학습된 모델은 논문 게재 후 공개될 예정이다.
신뢰할 수 있는 자율 주행을 위해서는 기하학적으로 정확하고 의미론적으로 풍부하며 장기간 주행으로 확장 가능한 벡터화된 HD 맵이 필요합니다. 그러나 기존 공개 HD 맵 데이터셋은 규모가 제한적이고 의미론적 속성이 희소하며, 새로운 연구 방향을 가능하게 할 수 있는 항공 이미지와 같은 모달리티가 부족합니다. 우리는 약 40시간(1,400km)의 최소 중복 주행을 포괄하는 벡터 HD 맵 구축을 위한 대규모 데이터셋인 HRDX를 소개합니다. 이는 이전 공개 HD 맵 데이터셋보다 몇 배 더 큰 규모입니다. 데이터는 6개의 동기화된 서라운드 카메라, 128빔 라이다, 센티미터 수준의 RTK GNSS/IMU를 사용하여 캡처되었으며, 정밀하게 정렬된 항공 정사영상으로 추가 보완되었습니다. 어노테이션은 10개의 벡터 맵 클래스를 포함하며, 20개 이상의 의미론적 및 위상 속성으로 보완되었습니다. 이러한 더 풍부한 온톨로지를 평가하기 위해, 우리는 기하학적 충실도와 속성 정확성을 공동으로 평가하는 복합 점수(Composite Score, CS)를 도입했습니다. 벤치마크 실험에 따르면 HRDX의 규모는 온라인 벡터 맵 구축을 향상시키며, 정렬된 항공 이미지는 유용한 구조적 사전 정보(structural prior)를 제공합니다. 학습 및/또는 추론 시 항공 이미지를 사용하면 지도의 기하학적 품질이 향상되며, 항공 이미지 증강 교사 모델은 추론 시 센서 요구사항을 늘리지 않고도 이러한 이점의 일부를 카메라 전용 학생 모델로 전이할 수 있습니다. HRDX는 대규모 HD 맵 학습, 멀티모달 BEV 융합, 학습 시 특권 정보(privileged information)에 대한 재현 가능한 연구를 지원하는 것을 목표로 합니다. HRDX 데이터셋과 벤치마크는 https://github.com/honda-research-institute/HRDX 에서 확인할 수 있습니다.