HENet++: 3D 인지와 엔드투엔드 자율주행을 위한 하이브리드 인코딩 및 멀티태스크 학습
HENet++: Hybrid Encoding and Multi-task Learning for 3D Perception and End-to-end Autonomous Driving
3차원 특징 추출과 멀티태스크 인지는 현대 자율주행 시스템의 핵심 구성 요소이다. 대형 이미지 인코더, 고해상도 입력, 그리고 긴 시간적 맥락(temporal context)은 표현 품질과 전반적인 성능을 크게 향상시킬 수 있지만, 학습과 추론 모두에서 발생하는 막대한 계산 비용으로 인해 이러한 전략들을 동시에 활용하는 것은 여전히 어려운 과제로 남아 있다. 더 나아가, 서로 다른 인지 작업(perception task)은 종종 서로 다른 특징 표현을 필요로 하기 때문에, 통합된 아키텍처가 특화된 단일 작업 시스템과 동등한 수준의 엔드투엔드 멀티태스크 성능을 달성하기는 어렵다. 이러한 문제를 해결하기 위해, 우리는 멀티태스크 3D 인지와 엔드투엔드 자율주행을 위한 통합 프레임워크인 HENet++를 제안한다. 이 프레임워크는 단기(short-term) 프레임에는 대형 인코더를, 장기(long-term) 시간적 맥락에는 경량 인코더를 사용하는 하이브리드 이미지 인코딩 전략을 채택하여 정확도와 효율성 사이에서 유리한 균형을 달성한다. 이 프레임워크는 밀집된(dense) 배경 특징과 희소한(sparse) 전경(foreground) 특징을 함께 추출하여, 작업별로 특화된 표현을 가능하게 함으로써 누적 오차를 줄이고 다운스트림 예측 및 플래닝 모듈에 더 풍부한 정보를 제공한다. HENet++는 다양한 3D 특징 추출 파이프라인과 호환되며, 카메라와 레이더 데이터를 포함한 멀티모달 입력을 지원한다. 광범위한 실험을 통해 nuScenes 멀티태스크 3D 인지 벤치마크에서 최첨단(state-of-the-art) 성능을 입증하였으며, nuScenes 플래닝 벤치마크에서 가장 낮은 충돌률(collision rate)을 달성하고 NAVSIM 벤치마크에서 더 높은 PDMS를 기록하였다.