arXiv:2511.07106v2 cs.CV

HENet++: 3D 인지와 엔드투엔드 자율주행을 위한 하이브리드 인코딩 및 멀티태스크 학습

HENet++: Hybrid Encoding and Multi-task Learning for 3D Perception and End-to-end Autonomous Driving

Zhongyu Xia, Zhiwei Lin, Yongtao Wang, Ming-Hsuan Yang

제출 2025-11-10

저자 비고

arXiv Comments

Accepted for publication in IJCV. Project Page: https://github.com/VDIGPKU/HENet

한국어 초록

3차원 특징 추출과 멀티태스크 인지는 현대 자율주행 시스템의 핵심 구성 요소이다. 대형 이미지 인코더, 고해상도 입력, 그리고 긴 시간적 맥락(temporal context)은 표현 품질과 전반적인 성능을 크게 향상시킬 수 있지만, 학습과 추론 모두에서 발생하는 막대한 계산 비용으로 인해 이러한 전략들을 동시에 활용하는 것은 여전히 어려운 과제로 남아 있다. 더 나아가, 서로 다른 인지 작업(perception task)은 종종 서로 다른 특징 표현을 필요로 하기 때문에, 통합된 아키텍처가 특화된 단일 작업 시스템과 동등한 수준의 엔드투엔드 멀티태스크 성능을 달성하기는 어렵다. 이러한 문제를 해결하기 위해, 우리는 멀티태스크 3D 인지와 엔드투엔드 자율주행을 위한 통합 프레임워크인 HENet++를 제안한다. 이 프레임워크는 단기(short-term) 프레임에는 대형 인코더를, 장기(long-term) 시간적 맥락에는 경량 인코더를 사용하는 하이브리드 이미지 인코딩 전략을 채택하여 정확도와 효율성 사이에서 유리한 균형을 달성한다. 이 프레임워크는 밀집된(dense) 배경 특징과 희소한(sparse) 전경(foreground) 특징을 함께 추출하여, 작업별로 특화된 표현을 가능하게 함으로써 누적 오차를 줄이고 다운스트림 예측 및 플래닝 모듈에 더 풍부한 정보를 제공한다. HENet++는 다양한 3D 특징 추출 파이프라인과 호환되며, 카메라와 레이더 데이터를 포함한 멀티모달 입력을 지원한다. 광범위한 실험을 통해 nuScenes 멀티태스크 3D 인지 벤치마크에서 최첨단(state-of-the-art) 성능을 입증하였으며, nuScenes 플래닝 벤치마크에서 가장 낮은 충돌률(collision rate)을 달성하고 NAVSIM 벤치마크에서 더 높은 PDMS를 기록하였다.

원문 초록

Three-dimensional feature extraction and multi-task perception are fundamental components of modern autonomous driving systems. Although large image encoders, high-resolution inputs, and long temporal contexts can substantially improve representation quality and overall performance, jointly leveraging these strategies remains challenging due to prohibitive computational costs during both training and inference. Furthermore, different perception tasks often require distinct feature representations, making it difficult for a unified architecture to achieve end-to-end multi-task performance comparable to specialized single-task systems. To address these challenges, we propose HENet++, a unified framework for multi-task 3D perception and end-to-end autonomous driving that employs a hybrid image encoding strategy, using a large encoder for short-term frames and a lightweight encoder for long-term temporal context to strike a favorable balance between accuracy and efficiency. The framework jointly extracts dense background features and sparse foreground features, enabling task-specific representations that reduce cumulative errors and provide richer information for downstream prediction and planning modules. HENet++ is compatible with diverse 3D feature extraction pipelines and supports multi-modal inputs, including camera and radar data. Extensive experiments demonstrate state-of-the-art performance on the nuScenes multi-task 3D perception benchmark, achieving the lowest collision rate on the nuScenes planning benchmark and higher PDMS on the NAVSIM benchmark.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.07106v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23910v1cs.CV공통 태그 Autonomous Driving, Multi-Task Learning, 3D Object Detection

SimBEV2X: 다중 과제 차량-만물(V2X) 협력 인식을 위한 대규모 데이터셋 및 데이터 생성 도구

SimBEV2X: A Large-Scale Dataset and Data Generation Tool for Multi-Task Vehicle-to-Everything Cooperative Perception

차량-만물(V2X) 통신을 통한 협력 인식은 가림(occlusion) 및 제한된 센서 범위와 같은 개별 자율주행 차량의 고유한 물리적 한계를 극복할 수 있다. 그러나 견고한 V2X 알고리즘, 특히 조감도(bird's-eye view, BEV) 표현과 같은 통합 공간 표현에 의존하는 알고리즘의 개발은 대규모, 다중 모달, 다중 과제 데이터셋의 부재로 인해 저해되고 있다. 또한 동기화된 실세계 다중 에이전트 데이터를 대규모로 수집하고 주석하는 것은 비용이 지나치게 높다. 이로 인해 기존 V2X 데이터셋은 규모와 범위 모두에서 현저히 제한적인 상황이 발생했다. 이를 극복하기 위해 CARLA 시뮬레이터 기반의 고급 합성 데이터 생성 도구인 SimBEV2X를 제안한다. SimBEV2X는 무작위 운전 시나리오를 자동으로 생성하여, 차량과 RSU(roadside unit) 모두로부터 고유 추적 ID가 부여된 3D 바운딩 박스, HD 맵 정보, BEV 분할(segmentation) 맵, 의미론적 점유(occupancy) 복셀 그리드 등 다양한 유형의 ground truth와 함께 다중 모달 센서 데이터를 수집한다. 또한 현재까지 최대 규모의 V2X 인식 데이터셋인 SimBEV2X 데이터셋을 공개한다. 이 데이터셋은 다양한 도로 네트워크에 걸쳐 최대 8대의 연결된 차량과 최대 4개의 RSU가 포함된 258개의 장면으로 구성된다. SimBEV2X 데이터셋은 기존 V2X 데이터셋보다 한 자릿수 더 크며, 102,200개의 프레임, 588,520개의 LiDAR 포인트 클라우드, 300만 개 이상의 이미지, 2,700만 개 이상의 바운딩 박스, 그리고 포괄적인 기타 주석을 포함한다. 마지막으로 CoopDet3D를 사용하여 SimBEV2X 데이터셋에 대한 강력한 기준선을 수립하고, 문맥 인식 다중 에이전트 특징 집계를 위해 CoopDet3D와 융합 축 어텐션(fused axial attention, FAX)을 결합한 새로운 아키텍처인 CoBEVFusion을 제안하여 우수한 성능을 달성한다. SimBEV2X, SimBEV2X 데이터셋, CoBEVFusion은 https://simbev2x.org 및 https://github.com/GoodarzMehr/SimBEV2X에서 이용할 수 있다.

arXiv:2607.24224v1cs.CV공통 태그 Autonomous Driving, Multi-Task Learning, 3D Object Detection

MATS: 자율주행 3D 인식을 위한 새로운 다중 모달리티 다중 과제 학습 프레임워크

MATS: A novel multi-modality multi-task learning framework for 3D perception in autonomous driving

서로 다른 센서의 다중 모달리티 데이터는 3D 인식에 풍부한 상호 보완적 정보를 제공하며, 신뢰할 수 있는 자율주행 시스템의 필수 구성 요소가 되었다. 현재 연구는 일반적으로 여러 인식 과제의 공동 학습을 위해 다중 모달 데이터의 정보를 통합된 조감도(bird's-eye-view, BEV) 특징 맵 위에 융합하기 위해 정교하고 복잡한 융합 전략을 설계한다. 그러나 이러한 단일 특징 맵은 다양한 인식 과제의 요구사항을 동시에 충족하기에 충분한 정보를 담기 어려워 인식 성능이 매우 제한적이다. 이 한계를 완화하기 위해, 본 논문은 3D 인식을 위한 모달리티 적응형 BEV 융합과 과제별 전문가 혼합(Mixture-of-Experts, MoE)을 갖춘 새로운 다중 모달리티 다중 과제 학습 접근법 MATS를 제안한다. 구체적으로, 간단한 모달리티 적응형 BEV 융합 모듈을 설계하여 전역적 교차 모달리티 의존성을 모델링함으로써 BEV 특징을 적응적으로 재보정하고, 다양한 인식 과제를 위한 다양한 BEV 특징 맵을 생성한다. 공동 다중 과제 학습을 위해, 본 논문은 과제를 분리하고 네트워크가 각 특정 과제에 적합한 BEV 특징 후보를 자동으로 선택할 수 있도록 하는 과제별 MoE 모듈을 제안한다. 제안 방법의 효과를 검증하기 위해, 대규모 벤치마크 nuScenes에서 광범위한 실험을 수행한다. 카메라 및 LiDAR 모달리티 입력 데이터를 사용할 때, 제안 방법은 최신 기법(SOTA)을 상당한 마진으로 능가한다. 또한 단일 과제에 대한 실험 결과는 제안 방법이 베이스라인을 크게 능가함을 보여준다. 코드와 학습된 모델은 논문 게재 후 공개될 예정이다.

arXiv:2610.15846v1cs.CV공통 태그 Autonomous Driving, Autonomous Vehicles

이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응

Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement

자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.

arXiv:2610.13891v1cs.CV공통 태그 Autonomous Driving, 3D Object Detection

눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.

arXiv:2610.02513v1cs.CV공통 태그 Autonomous Driving, 3D Object Detection

파편에서 글로벌 맵으로: 대규모 언어 모델을 활용한 벡터화 지도 통합 학습

From Fragments to Global Maps: Learning Vectorized Map Aggregation with Large Language Models

대규모 벡터화 HD 맵(고정밀 지도)은 자율주행의 인지, 위치 추정(localization), 경로 계획(planning)에 필수적인 구조화된 도로 정보를 제공합니다. 이러한 지도를 구축하려면 차량 궤적을 따라 수집된 노이즈가 있고 파편화되며 겹치는 로컬 예측들을 일관된 글로벌 맵으로 통합(aggregation)해야 합니다. 기존의 통합 방식은 일반적으로 파편 연관(association) 및 정제를 위한 수작업 규칙에 의존합니다. 그러나 고정된 임계값 세트는 도로 구조의 다양성과 예측 오차를 효과적으로 처리하지 못해 검출기(detector)별 튜닝이나 수동 조정을 필요로 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 벡터화 지도 통합을 대규모 언어 모델(LLM)을 통한 조건부 시퀀스 생성으로 정식화하는 데이터 주도형 프레임워크인 MapMergeLLM을 제안합니다. 직렬화된 로컬 벡터 지도가 주어지면, 본 모델은 통합된 글로벌 맵의 폴리라인(polyline)을 직접 예측합니다. 특정 업스트림 검출기에 대한 의존도를 낮추기 위해, 대표적인 예측 오류를 시뮬레이션하는 손상(corruption) 기법을 사용하여 정제된 벡터 지도에서 생성한 합성 로컬 지도로 모델을 학습합니다. 또한 지도 좌표를 정밀하게 표현하기 위해 기하학적 구조를 인식하는 사전학습(geometry-aware pretraining) 기반의 좌표 토크나이저를 도입합니다. 아울러 동일한 지도 요소의 로컬 관측 간 대응 관계를 명시적으로 지도하는 선 단위(line-level) 연관 손실을 제안합니다. 최근의 여러 업스트림 검출기를 사용한 Argoverse2 및 nuScenes 데이터셋 실험 결과, MapMergeLLM은 검출기별 재학습 없이도 휴리스틱 및 최적화 기반 통합 베이스라인보다 크게 우수한 성능을 보이는 것으로 나타났습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.