라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.
3차원 특징 추출과 멀티태스크 인지는 현대 자율주행 시스템의 핵심 구성 요소이다. 대형 이미지 인코더, 고해상도 입력, 그리고 긴 시간적 맥락(temporal context)은 표현 품질과 전반적인 성능을 크게 향상시킬 수 있지만, 학습과 추론 모두에서 발생하는 막대한 계산 비용으로 인해 이러한 전략들을 동시에 활용하는 것은 여전히 어려운 과제로 남아 있다. 더 나아가, 서로 다른 인지 작업(perception task)은 종종 서로 다른 특징 표현을 필요로 하기 때문에, 통합된 아키텍처가 특화된 단일 작업 시스템과 동등한 수준의 엔드투엔드 멀티태스크 성능을 달성하기는 어렵다. 이러한 문제를 해결하기 위해, 우리는 멀티태스크 3D 인지와 엔드투엔드 자율주행을 위한 통합 프레임워크인 HENet++를 제안한다. 이 프레임워크는 단기(short-term) 프레임에는 대형 인코더를, 장기(long-term) 시간적 맥락에는 경량 인코더를 사용하는 하이브리드 이미지 인코딩 전략을 채택하여 정확도와 효율성 사이에서 유리한 균형을 달성한다. 이 프레임워크는 밀집된(dense) 배경 특징과 희소한(sparse) 전경(foreground) 특징을 함께 추출하여, 작업별로 특화된 표현을 가능하게 함으로써 누적 오차를 줄이고 다운스트림 예측 및 플래닝 모듈에 더 풍부한 정보를 제공한다. HENet++는 다양한 3D 특징 추출 파이프라인과 호환되며, 카메라와 레이더 데이터를 포함한 멀티모달 입력을 지원한다. 광범위한 실험을 통해 nuScenes 멀티태스크 3D 인지 벤치마크에서 최첨단(state-of-the-art) 성능을 입증하였으며, nuScenes 플래닝 벤치마크에서 가장 낮은 충돌률(collision rate)을 달성하고 NAVSIM 벤치마크에서 더 높은 PDMS를 기록하였다.
정확한 3D 검출은 이동형 체화 에이전트(embodied agent)에게 필수적이며, 비전 파운데이션 모델(VFM)은 전이 가능한 시각적 및 기하학적 사전 지식(prior)을 제공합니다. 그러나 기존의 VFM 기반 3D 검출기는 좁은 시야의 단안 영상이나 불연속적인 원근 뷰에 의존하므로 일관된 전방위 인식이 제한됩니다. 반면 정거원통도법(ERP)은 단일 이미지에 연속적인 360도 장면을 인코딩합니다. 하지만 ERP는 기하학 및 시각 정보를 다르게 구성하여 객체 관련 단서를 모델링, 위치 파악 및 보존하기 어렵게 만들기 때문에 직접적인 전이는 여전히 어렵습니다. 본 논문에서는 전이 가능한 VFM 사전 지식을 보존하면서 원근 뷰로 학습된 VFM 검출기를 ERP에 적응시키는 프레임워크인 OmniAct3D를 제안합니다. 기하학적 불일치를 해결하기 위해 ERP-Ray 기하 어댑터(ERGA-Ray)는 구면 시선(viewing ray)과 주기적 공간 구조를 모델링합니다. 전체 장면 맥락에서 증거를 국소화하기 위해 시각-행동 추론 체인(VARC)은 각 가설을 관련 파노라마 증거에 그라운딩(grounding)하고 이를 구조화된 기하학적 행동으로 변환합니다. 고정된 토큰(token) 예산 하에서 손실된 국소 단서를 복구하기 위해 외형 유도 방위 전문가(AGHE)는 방위각 추정을 위해 객체 영역을 더 높은 해상도로 재인코딩합니다. 실험 결과, OmniAct3D는 Spheriverse에서 이전 최고 3D 검출기 대비 2.96 NDS 포인트, PanoMMOcc에서 적응되지 않은 VFM 기준선(baseline) 대비 24.87 mAP 포인트 향상된 성능을 보였습니다. 타깃별 기하 적응을 통해 VARC는 동일 구성 mAP의 95~98%를 유지하여 센싱 구성 전반에서 재사용 가능한 객체 수준 3D 추론 능력을 보여줍니다. 소스 코드는 https://github.com/FeiT-FeiTeng/OmniAct3D 에서 공개될 예정입니다.
Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.
대규모 벡터화 HD 맵(고정밀 지도)은 자율주행의 인지, 위치 추정(localization), 경로 계획(planning)에 필수적인 구조화된 도로 정보를 제공합니다. 이러한 지도를 구축하려면 차량 궤적을 따라 수집된 노이즈가 있고 파편화되며 겹치는 로컬 예측들을 일관된 글로벌 맵으로 통합(aggregation)해야 합니다. 기존의 통합 방식은 일반적으로 파편 연관(association) 및 정제를 위한 수작업 규칙에 의존합니다. 그러나 고정된 임계값 세트는 도로 구조의 다양성과 예측 오차를 효과적으로 처리하지 못해 검출기(detector)별 튜닝이나 수동 조정을 필요로 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 벡터화 지도 통합을 대규모 언어 모델(LLM)을 통한 조건부 시퀀스 생성으로 정식화하는 데이터 주도형 프레임워크인 MapMergeLLM을 제안합니다. 직렬화된 로컬 벡터 지도가 주어지면, 본 모델은 통합된 글로벌 맵의 폴리라인(polyline)을 직접 예측합니다. 특정 업스트림 검출기에 대한 의존도를 낮추기 위해, 대표적인 예측 오류를 시뮬레이션하는 손상(corruption) 기법을 사용하여 정제된 벡터 지도에서 생성한 합성 로컬 지도로 모델을 학습합니다. 또한 지도 좌표를 정밀하게 표현하기 위해 기하학적 구조를 인식하는 사전학습(geometry-aware pretraining) 기반의 좌표 토크나이저를 도입합니다. 아울러 동일한 지도 요소의 로컬 관측 간 대응 관계를 명시적으로 지도하는 선 단위(line-level) 연관 손실을 제안합니다. 최근의 여러 업스트림 검출기를 사용한 Argoverse2 및 nuScenes 데이터셋 실험 결과, MapMergeLLM은 검출기별 재학습 없이도 휴리스틱 및 최적화 기반 통합 베이스라인보다 크게 우수한 성능을 보이는 것으로 나타났습니다.
비지도 및 오픈 보캐블러리(open-vocabulary) 3D 객체 검출(3D object detection)은 특히 자율주행 분야에서 최근 주목받고 있으며, 어노테이션 비용 절감과 미학습 객체 인식이 안전성과 확장성 모두에 핵심적입니다. 그러나 기존 접근 방식 대부분은 객체의 물리적 상태를 무시한 채 3D 경계 상자(bounding box)를 일률적으로 어노테이션하고, 어노테이션 개선을 위해 다중 자기 학습(self-training) 반복을 요구하므로 최적화되지 않은 품질과 상당한 연산 오버헤드를 초래합니다. 이러한 과제를 해결하기 위해, 본 논문에서는 2D 비전 파운데이션 모델(vision foundation model)을 활용하는 2단계 자동 어노테이션 파이프라인인 OpenBox를 제안합니다. 첫 번째 단계에서 OpenBox는 교차 모달 인스턴스 정렬을 통해 비전 파운데이션 모델로 처리된 2D 이미지의 인스턴스 수준 단서를 대응하는 3D 포인트 클라우드와 연결합니다. 두 번째 단계에서는 강체성(rigidity) 및 운동 상태에 따라 인스턴스를 분류한 다음, 클래스별 크기 통계를 바탕으로 적응형 경계 상자를 생성합니다. 그 결과, OpenBox는 자기 학습 없이도 고품질 3D 경계 상자 어노테이션을 생성합니다. Waymo Open Dataset(WOD), Lyft Level 5 Perception 데이터셋, nuScenes 데이터셋에서의 실험을 통해 베이스라인 대비 향상된 정확도와 효율성을 입증합니다. 프로젝트 페이지는 https://oliver0922.github.io/OpenBox/ 에서 확인할 수 있습니다.
협력형 3D 추적은 일관된 식별자(ID)를 유지하면서 여러 에이전트와 시간에 걸친 상호보완적인 관측 정보를 통합해야 합니다. 증거 통합과 식별자 상속이 동일한 매칭 결정을 공유할 경우, 시점 간 외형 차이 및 공간적 불일치로 인해 발생하는 오류가 특징 융합과 트랙 연속성을 모두 저해할 수 있습니다. 본 논문에서는 인스턴스 수용과 식별자 관리를 분리하는 선 융합 후 결합(fuse first, bind later) 프레임워크인 FFBL-Coop을 제안합니다. 신뢰도 순위 슬롯 수용(CSA)은 신뢰도와 공간적 근접성을 바탕으로 협력 쿼리를 사용 가능한 자차(ego) 슬롯에 할당합니다. 통합 표현 집약(URA)은 협력 의미 특징과 정렬된 앵커를 활용해 자차 특징 검색을 유도하며, 공유 트랜스포머 디코더 내에서 증강된 쿼리 뱅크를 정제합니다. 정제 후 협력 우선 식별자 앵커링(CPIA)은 학습된 연관성과 지속적인 매핑을 결합하여 프레임 전반에 걸쳐 수용된 식별자 할당을 확립합니다. 공유 코드북은 전송 페이로드를 줄이면서도 압축되지 않은 버전과 유사한 수준의 AP 및 AMOTA를 유지합니다. FFBL-Coop은 V2X-Seq에서 0.611/0.548, Griffin-25M에서 0.688/0.653의 AMOTA/AP를 달성합니다. 코드는 공개될 예정입니다.
지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.
협력 인지는 연결된 에이전트(agent)들이 상호 보완적인 관측을 공유하여 3D 객체 검출(object detection)을 수행할 수 있게 함으로써, 감지 범위를 확장하고 가림 현상을 완화합니다. 그러나 비동기 통신 환경에서는 협력 특징(feature)이 시간적 지연을 동반하여 도착합니다. 기존의 예측 기반 방법들은 주로 송신 에이전트 자체의 이력을 바탕으로 이러한 특징을 보상하므로, 자차(ego) 에이전트의 현재 관측과의 잔여 정렬 오차가 남게 되며, 후속 융합 과정에서도 정렬 품질의 공간적 변동을 간과하는 경우가 많습니다. 본 논문에서는 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 신뢰도 인지 융합 프레임워크인 EgoRefine을 제안합니다. Ego-referenced Predictive Alignment 모듈은 현재 자차 특징을 활용해 협력 궤적 필드 예측을 유도하고 자차 기준 궤적 방향을 따라 샘플링 오프셋을 정제합니다. Trajectory-conditioned Reliability-aware Fusion 모듈은 자차와 협력 스트림 간의 궤적 불일치 및 방향성 정제 크기를 정렬 단서로 취급하여, 이를 통해 정렬된 특징 간의 관계를 조건화하고 합성곱(convolutional) 융합 전에 두 스트림의 가중치를 적응적으로 재조정합니다. V2V4Real 및 DAIR-V2X-Seq에 대한 실험 결과, EgoRefine은 TraF-Align 대비 [email omitted] 및 [email omitted] 각각 평균 1.6포인트와 2.9포인트 향상된 성능을 보였습니다. 소스 코드는 https://github.com/godk0509/EgoRefine 에서 공개될 예정입니다.
4D 레이더는 장거리 기하학과 방사 방향(radial) 운동으로 조밀한 이미지 의미 정보를 보완하지만, 기존 레이더–카메라 검출기는 대체로 모달리티를 어디에(where) 정렬할지만 다루고, 어떤 증거가 진화하는 객체 가설을 지지하는지(whether)는 암묵적으로 남겨 둔다. 이미지 토큰은 가림체(occluder)를 설명할 수 있고, 인근 레이더 반환(return)은 다른 객체에 속할 수 있으며, 자세 정렬(pose-aligned) 메모리 슬롯은 양립하지 않는 운동 정보를 담을 수 있다. 본 연구는 후보 접근과 증거 사용을 분리하는 가설 조건 증거 그라운딩(hypothesis-conditioned evidence grounding)을 제안한다. 의미·기하·시간 증거는 해당 쿼리를 갱신하기 전에 진화하는 3D 상태에 의해 필터링되거나 조건화된다. SGDet3D++는 앵커와 일관된 레이더 지원을 풀링하여 가변(deformable) 이미지 검색을 조건화하는 AGR(Anchor-Grounded Semantic Retrieval), 개별 연관 반환을 어텐션(attention)으로 집계하는 GCR(Geometry-Consistent Anchor Refinement), 현재 방사 방향 운동이 이력과 모순될 때만 이력을 교체하는 DVC(Doppler-Verified Correspondence)를 통해 이 원칙을 구현한다. SGDet3D++는 OmniHD-Scenes에서 비교 대상 중 최강 방법 대비 mAP 3.82, ODS 6.82만큼, ManTruckScenes에서는 mAP 6.82, NDS 9.22만큼 개선했으며, TJ4DRadSet 테스트 비교에서도 나열된 방법들 가운데 최고 성능을 기록했다. 메커니즘 대상 평가에서 AGR은 모든 투영 가림(projected-occlusion) 구간에서 strict AP를 향상시켰고, yaw 정렬 박스 게이트는 target-return 순도를 29.95%에서 58.87%로 높였으며, DVC는 운동 일관 이력의 96.11%를 보존하면서 모순 재현율 75.90%를 유지했다. 코드는 공개될 예정이다.
4차원(4D) 레이더(Radar)는 조도 변화와 악천후 조건에서도 견고함을 유지하면서 거리, 방위각, 고각 및 도플러 측정값을 제공하여 환경 인식을 위한 핵심 센서로 부상했습니다. 그러나 일정한 오경보율(CFAR) 검출과 같은 기존의 레이더 전처리 방식은 주로 신호 수준의 기준에 따라 측정값을 선택하므로, 포인트 클라우드 생성 과정에서 다운스트림 인식에 유용한 정보를 폐기할 수 있습니다. 또한 기존의 4D 레이더 인식 파이프라인은 일반적으로 레이더 데이터 처리와 다운스트림 인식을 독립적으로 최적화하므로, 태스크 목표가 전처리 단계를 직접적으로 유도하지 못합니다. 이러한 한계를 해결하기 위해 본 논문에서는 엔드투엔드 학습(training) 프레임워크와 함께 장면 및 태스크 인지형 레이더(STAR) 전처리기를 제안합니다. STAR 전처리기는 장면 컨텍스트와 다운스트림 태스크 목표를 통합하여 태스크 관련 레이더 포인트를 생성함으로써, 레이더 표현이 인식에 맞춰 직접 최적화될 수 있도록 합니다. K-Radar 벤치마크에서 제안하는 방식은 74.3 AP를 달성하여 이전 최고 수준(SOTA)보다 5.6 AP 포인트 앞서는 성능을 보였습니다. 나아가 STAR로 생성된 태스크 관련 포인트를 다양한 기존 3D 검출기에 적용했을 때 대부분의 평가 설정에서 검출 성능이 향상되었으며, 기존 전처리로 생성된 포인트 클라우드 대비 전반적으로 긍정적인 평균 이득을 얻었습니다.
멀티모달 3D 객체 검출은 LiDAR와 카메라 센서의 상보적 정보를 통합하므로 자율주행에서 견고한 인지의 기반이 된다. 그러나 기존 방법은 센서 노이즈, 악천후, 환경 변화로 인한 분포 외(out-of-distribution, OOD) 손상(corruption) 조건에서 견고성을 유지하지 못하는 경우가 많다. 이 문제를 해결하기 위해, Segment Anything Model(SAM)과 같은 비전 기초 모델(visual foundation model, VFM)을 활용하는 견고하고 일반화 가능한 멀티모달 3D 객체 검출 프레임워크 RoboDistill을 제안한다. 먼저 자율주행 영상에 SAM을 파인튜닝하여 풍부한 의미 정보를 담은 특징 표현을 추출하는 도메인 특화 사전학습(pre-training) 전략 SAM-AD를 도입한다. 둘째, AD Feature Pyramid Network(AD-FPN)를 설계하여 SAM 특징을 다중 스케일에서 정제·업샘플링하고 LiDAR 특징과 원활하게 융합한다. 셋째, 고주파 센서 노이즈는 억제하면서 중요한 문맥 정보는 보존하는 Depth-Guided Wavelet Attention(DGWA) 모듈을 개발한다. 마지막으로, 사전학습된 SAM-AD를 교사로 두고 고품질 시각 지식을 경량 포인트 클라우드 네트워크에 지식 증류(distillation)하는 KD Fusion을 도입하여 노이즈 환경에서의 견고성을 높인다. 27가지 어려운 OOD 손상 설정에 걸친 광범위한 실험에서 RoboDistill은 대표적인 최신(state-of-the-art) 방법 대비 전반적으로 더 강하거나 경쟁력 있는 검출 성능과 견고성을 보인다. 본 연구는 VFM과 3D 객체 검출 사이의 간극을 줄이고, 실제 자율주행 응용을 위한 견고한 멀티모달 인지를 발전시킨다.
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
의료 영상 분야에서는 내과의사와 의사들의 업무 부담을 덜기 위해 객체 검출(object detection), 분할(segmentation), 분류(classification)와 같은 AI 보조 기술이 널리 활용되고 있습니다. 그러나 주로 단일 태스크 모델이 사용되어 태스크 간의 공유 정보를 간과하며, 이는 실제 응용 환경에서 비효율성을 초래합니다. 본 연구에서는 의료 영상에서 3D 검출, 분할, 분류를 공동으로 수행하여 단일 태스크 모델의 한계를 해결하는 새로운 엔드투엔드(end-to-end) 멀티태스크 트랜스포머 기반 모델인 MTMed3D를 제안합니다. 제안하는 모델은 트랜스포머를 공유 인코더로 사용하여 다중 스케일(multi-scale) 특징을 생성하고, 그 뒤를 CNN 기반의 태스크별 디코더가 잇습니다. 제안된 프레임워크는 BraTS 2018 및 2019 데이터셋에서 평가되었으며, 세 가지 태스크 모두에서 유망한 결과를 달성했고, 특히 검출에서는 기존 연구보다 더 우수한 성능을 거두었습니다. 아울러 본 멀티태스크 모델을 개별적으로 학습된 동등한 단일 태스크 변형 모델들과 비교했습니다. 본 멀티태스크 모델은 단일 태스크 모델과 대등한 성능을 유지하면서도 계산 비용을 크게 절감하고 더 빠른 추론(inference) 속도를 달성하여 효율성 측면의 이점을 보여줍니다. 저자들이 아는 한, 본 연구는 3D 의료 영상에서 검출, 분할, 분류 태스크를 동시에 다루는 멀티태스크 학습에 트랜스포머를 활용한 최초의 연구이며, 진단 과정을 개선할 수 있는 잠재력을 제시합니다. 코드는 https://github.com/fanlimua/MTMed3D.git 에서 확인할 수 있습니다.
충돌까지의 시간(time-to-collision, TTC)과 같은 위험도 지표는 충돌 긴급성을 정량화하지만, 거짓 양성(FP)과 거짓 음성(FN) 인식 오류의 운영상 결과를 구분하지 못한다. 우리는 두 가지 오류 특화 노력 지표를 정식화한다: False Speed Reduction(FSR)—지속적인 유령 검출과 관련된 누적 속도 손실—, 그리고 Maximum Deceleration Rate(MDR)—종방향 운동학 모델 하에서 놓친 객체와 관련된 최대 제동 요구량. 이러한 종방향 지표는 기존 측방 회피 운동학에서 적용한 Lateral Evasion Acceleration(LEA)으로 보완되며, 도달 가능성(reachability) 기반 충돌 시점과 결합된다. 충돌 검사는 예측된 충돌을 피하기 위해 필요한 최소 조향 노력을 정량화한다. 동적으로 보수적인, 의미적으로 필터링되지 않은 도달 가능성 게이트가 프레임 수준 점수화 및 트랙 수준 집계 이전에 후보 상호작용을 선택한다. nuScenes 및 Argoverse 2에서의 평가 결과, 오류의 65%에서 93%가 선택된 위험도 임계값 미만에 해당한다. 상관관계 및 임계값 분석은 제안된 지표가 인식 실패를 선별하고 발굴하는 데 상보적인 순위를 제공하며, 폐루프 안전성 검증의 대체재가 아님을 보여준다.
서로 다른 센서의 다중 모달리티 데이터는 3D 인식에 풍부한 상호 보완적 정보를 제공하며, 신뢰할 수 있는 자율주행 시스템의 필수 구성 요소가 되었다. 현재 연구는 일반적으로 여러 인식 과제의 공동 학습을 위해 다중 모달 데이터의 정보를 통합된 조감도(bird's-eye-view, BEV) 특징 맵 위에 융합하기 위해 정교하고 복잡한 융합 전략을 설계한다. 그러나 이러한 단일 특징 맵은 다양한 인식 과제의 요구사항을 동시에 충족하기에 충분한 정보를 담기 어려워 인식 성능이 매우 제한적이다. 이 한계를 완화하기 위해, 본 논문은 3D 인식을 위한 모달리티 적응형 BEV 융합과 과제별 전문가 혼합(Mixture-of-Experts, MoE)을 갖춘 새로운 다중 모달리티 다중 과제 학습 접근법 MATS를 제안한다. 구체적으로, 간단한 모달리티 적응형 BEV 융합 모듈을 설계하여 전역적 교차 모달리티 의존성을 모델링함으로써 BEV 특징을 적응적으로 재보정하고, 다양한 인식 과제를 위한 다양한 BEV 특징 맵을 생성한다. 공동 다중 과제 학습을 위해, 본 논문은 과제를 분리하고 네트워크가 각 특정 과제에 적합한 BEV 특징 후보를 자동으로 선택할 수 있도록 하는 과제별 MoE 모듈을 제안한다. 제안 방법의 효과를 검증하기 위해, 대규모 벤치마크 nuScenes에서 광범위한 실험을 수행한다. 카메라 및 LiDAR 모달리티 입력 데이터를 사용할 때, 제안 방법은 최신 기법(SOTA)을 상당한 마진으로 능가한다. 또한 단일 과제에 대한 실험 결과는 제안 방법이 베이스라인을 크게 능가함을 보여준다. 코드와 학습된 모델은 논문 게재 후 공개될 예정이다.
차량-만물(V2X) 통신을 통한 협력 인식은 가림(occlusion) 및 제한된 센서 범위와 같은 개별 자율주행 차량의 고유한 물리적 한계를 극복할 수 있다. 그러나 견고한 V2X 알고리즘, 특히 조감도(bird's-eye view, BEV) 표현과 같은 통합 공간 표현에 의존하는 알고리즘의 개발은 대규모, 다중 모달, 다중 과제 데이터셋의 부재로 인해 저해되고 있다. 또한 동기화된 실세계 다중 에이전트 데이터를 대규모로 수집하고 주석하는 것은 비용이 지나치게 높다. 이로 인해 기존 V2X 데이터셋은 규모와 범위 모두에서 현저히 제한적인 상황이 발생했다. 이를 극복하기 위해 CARLA 시뮬레이터 기반의 고급 합성 데이터 생성 도구인 SimBEV2X를 제안한다. SimBEV2X는 무작위 운전 시나리오를 자동으로 생성하여, 차량과 RSU(roadside unit) 모두로부터 고유 추적 ID가 부여된 3D 바운딩 박스, HD 맵 정보, BEV 분할(segmentation) 맵, 의미론적 점유(occupancy) 복셀 그리드 등 다양한 유형의 ground truth와 함께 다중 모달 센서 데이터를 수집한다. 또한 현재까지 최대 규모의 V2X 인식 데이터셋인 SimBEV2X 데이터셋을 공개한다. 이 데이터셋은 다양한 도로 네트워크에 걸쳐 최대 8대의 연결된 차량과 최대 4개의 RSU가 포함된 258개의 장면으로 구성된다. SimBEV2X 데이터셋은 기존 V2X 데이터셋보다 한 자릿수 더 크며, 102,200개의 프레임, 588,520개의 LiDAR 포인트 클라우드, 300만 개 이상의 이미지, 2,700만 개 이상의 바운딩 박스, 그리고 포괄적인 기타 주석을 포함한다. 마지막으로 CoopDet3D를 사용하여 SimBEV2X 데이터셋에 대한 강력한 기준선을 수립하고, 문맥 인식 다중 에이전트 특징 집계를 위해 CoopDet3D와 융합 축 어텐션(fused axial attention, FAX)을 결합한 새로운 아키텍처인 CoBEVFusion을 제안하여 우수한 성능을 달성한다. SimBEV2X, SimBEV2X 데이터셋, CoBEVFusion은 https://simbev2x.org 및 https://github.com/GoodarzMehr/SimBEV2X에서 이용할 수 있다.
비록 빠른 진전이 있었지만, 2D 시각 입력으로 구축된 대부분의 기존 비전-언어 모델(VLM)은 미세한 공간 이해와 추론을 요구하는 다양한 3D 작업을 처리할 때 종종 어려움을 겪는다. 이 격차를 해소하기 위해, 우리는 RGB 비디오로부터 학습된 암시적·명시적 3D 기하를 모두 갖추어 VLM의 3D 공간 인식을 향상시키는 통합 프레임워크인 VLM-IE3D를 제안한다. VLM-IE3D는 입력 비디오로부터 고수준 기하 사전지식(prior)을 포착하는 암시적 기하 토큰(Implicit Geometry Tokens, IGTs)과, 재구성된 3D 속성으로부터 상세한 기하 구조를 인코딩하는 보완적 명시적 기하 토큰(Explicit Geometry Tokens, EGTs)을 도입한다. 더 나아가 VLM-IE3D는 두 유형의 기하 표현을 2D 시각 단서와 효과적으로 융합하는 3D 인식 어댑터를 포함한다. 이 RGB 전용 설계는 추가 3D 입력 없이도 미세한 공간 이해와 추론을 위한 강한 3D 귀납 편향(inductive bias)을 주입한다. 광범위한 실험 결과, VLM-IE3D는 3D 비디오 검출, 3D 시각적 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 다양한 3D 작업에서 일관되게 우수한 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/Vegetebird/VLM-IE3D에서 이용할 수 있다.
지능형 교통 시스템에서 도로변 3D 객체 검출은 교통 이해, 협력형 조기 경보, 안전한 자율주행에 필수적인 넓은 영역 인식을 제공한다. 그러나 기존 방법들은 카메라 외부 파라미터(extrinsic)에 대한 높은 민감도로 인한 문제가 있다. 일시적인 지터(jitter)나 지속적인 드리프트(drift)로 나타나는 미세한 편차조차 투영 기하학에 의해 크게 증폭될 수 있다. 이러한 연쇄 효과는 심각한 특징 불일치와 저하된 위치 추정을 초래한다. 이 한계를 완화하기 위해, 우리는 조각별 6-DoF 자세 오프셋을 사용하여 외부 파라미터를 보정하는 영역 인식 외부 파라미터 보정 프레임워크인 RECO를 제안한다. RECO는 학습 가능한 거리 경계를 예측하여 장면을 근거리와 원거리 영역으로 분할하고, 영역별 자세 보정을 추정한다. 미분 가능한 시그모이드 게이트가 두 보정된 기하를 부드럽게 혼합하여 연속적인 BEV 샘플링을 유지하고 안정적인 최적화를 촉진한다. 외부 파라미터 정제를 지도하기 위해, 3D ground truth에서 투영된 2D 바운딩 박스와 2D 어노테이션을 비교하는 보조 재투영 손실을 도입하고, 이를 표준 검출 목적 함수와 함께 공동 최적화한다. 외부 파라미터 섭동 하에서 DAIR-V2X-I 및 Rope3D 벤치마크에 대한 광범위한 실험은 yaw 및 $z$축 편차 모두에서 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. RECO는 일시적 섭동에서 지속적 이동으로도 일반화되며, 엄격한 보정(calibration) 불확실성 하에서도 매우 경쟁력 있는 성능을 유지한다.
편집 가능한 3D 장면 생성에는 검사하고, 이동하고, 표준 엔진으로 가져올 수 있는 객체 인스턴스와 조명이 필요하지만, 기존 단일 이미지 기반 방법은 대부분 방 규모 기하학, 베이크/글로벌 일루미네이션, 또는 텍스트 기반 생성에 머무른다. 우리는 단일 이미지로부터 엔진 네이티브, 조명 인식 3D 장면 파싱을 위한 벤치마크 및 참조 파이프라인인 Lumera(Light-aware Unified Engine-native Reconstruction and Assembly)를 제안한다. Lumera-2K는 2,513개의 UE5 프로젝트로 구축되었으며, 3.73M개의 컴포넌트, 63M개의 객체 인스턴스, 102.6K개의 엔진 네이티브 파라미터 조명, 95.1K개의 카메라 뷰를 제공한다. 이 데이터를 기반으로 Lumera-Box와 Lumera-Light는 VLM을 적용하여 객체 박스와 파라미터 조명 튜플(x,y,z,r,g,b,I)을 파싱하며, 이는 객체별 메시 재구성, HDR 환경(environment) 추정, 제한된 에이전트(agent) 기반 정제 루프와 함께 조립된다. DetAny3D, SpatialLM, N3D-VLM, WildDet3D와의 정제된 박스 벤치마크에서 Lumera-Box는 전반적인 검출, 기하학, 의미, 레이아웃 점수에서 가장 우수한 성능을 보인다(병합 mAP 0.1141, IoU-B 0.2472, F-score 0.2762), 반면 WildDet3D는 앵커 재현율(recall)에서 여전히 더 강하다. 조명에 대해 Lumera-Light는 거의 모든 비어 있지 않은 장면을 복원한다(재현율 0.998)하지만 개별 조명 위치 추정에는 여전히 한계가 있다(0.5 m에서 F1 0.209); 매칭된 조명의 중앙값 위치 오차는 0.261 m, 중앙값 ΔE2000 4.59, 강도 Pearson r=0.628이다. 이 결과는 파라미터 조명을 측정 가능한 편집 가능 장면 목표로 확립하고, 관계 구조, 조명 재현율/강도, 교차 엔진 일반화에서 남은 병목을 드러낸다.