3차원 특징 추출과 멀티태스크 인지는 현대 자율주행 시스템의 핵심 구성 요소이다. 대형 이미지 인코더, 고해상도 입력, 그리고 긴 시간적 맥락(temporal context)은 표현 품질과 전반적인 성능을 크게 향상시킬 수 있지만, 학습과 추론 모두에서 발생하는 막대한 계산 비용으로 인해 이러한 전략들을 동시에 활용하는 것은 여전히 어려운 과제로 남아 있다. 더 나아가, 서로 다른 인지 작업(perception task)은 종종 서로 다른 특징 표현을 필요로 하기 때문에, 통합된 아키텍처가 특화된 단일 작업 시스템과 동등한 수준의 엔드투엔드 멀티태스크 성능을 달성하기는 어렵다. 이러한 문제를 해결하기 위해, 우리는 멀티태스크 3D 인지와 엔드투엔드 자율주행을 위한 통합 프레임워크인 HENet++를 제안한다. 이 프레임워크는 단기(short-term) 프레임에는 대형 인코더를, 장기(long-term) 시간적 맥락에는 경량 인코더를 사용하는 하이브리드 이미지 인코딩 전략을 채택하여 정확도와 효율성 사이에서 유리한 균형을 달성한다. 이 프레임워크는 밀집된(dense) 배경 특징과 희소한(sparse) 전경(foreground) 특징을 함께 추출하여, 작업별로 특화된 표현을 가능하게 함으로써 누적 오차를 줄이고 다운스트림 예측 및 플래닝 모듈에 더 풍부한 정보를 제공한다. HENet++는 다양한 3D 특징 추출 파이프라인과 호환되며, 카메라와 레이더 데이터를 포함한 멀티모달 입력을 지원한다. 광범위한 실험을 통해 nuScenes 멀티태스크 3D 인지 벤치마크에서 최첨단(state-of-the-art) 성능을 입증하였으며, nuScenes 플래닝 벤치마크에서 가장 낮은 충돌률(collision rate)을 달성하고 NAVSIM 벤치마크에서 더 높은 PDMS를 기록하였다.
로봇 시스템은 대규모의 멀티모달 센서 데이터를 생성하지만, ROS bag 기록을 머신러닝 데이터셋으로 변환하는 작업은 종종 임시적인 순차 스크립트로 처리되어 엔지니어링 오버헤드와 느린 반복(iteration) 주기를 초래합니다. 본 연구에서는 데이터셋 구축을 의존성 그래프 상의 아티팩트 기반 빌드 프로세스로 모델링하고, 이를 재현 가능하며 점진적인 데이터셋 생성을 지원하는 오픈소스 Bazel 확장인 Bagzel(nuScenes 형식 내보내기 포함)로 구현합니다. 저자들은 Bagzel 및 Bagzel-xattr(서버 측 다이제스트 관리)을 순차적인 rosbag2nuscenes 기준선(baseline)과 비교합니다. Bagzel은 평가된 모든 실행 모드에서 실행 시간을 단축하며, 반복적인 워크플로에서 가장 큰 성능 향상(20.4GB 데이터셋 기준 웜 빌드에서 최대 386.26배, 점진적 빌드에서 7.21배)을 보입니다. 5.1GB에서 20.4GB에 이르는 데이터셋 크기 전반에 걸쳐 Bagzel 변형들은 특히 웜 및 점진적 모드에서 기준선보다 현저히 뛰어난 확장성 특성을 보여줍니다. Bagzel-xattr은 추가적인 이점을 제공하여 입력 세분성 연구에서 Bagzel 대비 평균 5.9%의 실행 시간 단축을 달성합니다. 전반적으로 로보틱스 데이터셋 구축을 아티팩트 기반 빌드 프로세스로 모델링하는 것은 재현성을 뒷받침하는 결정론적 빌드 설계를 유지하면서도 데이터셋 업데이트 지연 시간을 실질적으로 단축합니다.
지시 조건(instruction-conditioned) 궤적 예측은 자율주행에서 떠오르는 문제로, 모델이 시각적 장면 컨텍스트와 과거 운동뿐만 아니라 자연어 기동(maneuver) 지시로부터도 미래 자차(ego) 궤적을 예측한다. 본 논문은 3D 지각, 추론, 계획 기능을 갖춘 비전-언어-행동(vision-language-action) 주행 에이전트인 OmniDrive를 기반으로 doScenes Instructed Driving Challenge에 제출한 우리의 방법을 소개한다. doScenes 설정에 맞추기 위해 지시가 주석된 nuScenes 장면에서 OmniDrive를 학습(training)시키고, 12개의 미래 웨이포인트로 표현된 6초 자차 궤적을 생성한다. 다중 시점(multi-view) 시각적 그라운딩(grounding) 향상을 위해 OmniDrive 지각 헤드에 DVPE 스타일 divided-view perception 모듈을 추가한다. 제안 모듈은 모든 카메라 특징에 대해 전역적으로 어텐션(attention)을 적용하는 대신, 쿼리 특징과 이미지 토큰을 분할된 국소 시점 공간으로 묶고 각 시점 내에서 가시성 인식(visibility-aware) 크로스 어텐션을 수행한다. 이 설계는 무관한 시점 간(cross-view) 간섭을 줄이고, 모델이 언어 지시를 주행 관련 국소 시각적 근거와 더 잘 정렬(align)하도록 돕는다. 코드는 다음에서 공개되어 있다: https://github.com/feel12348/doscenes-omnidrive.