생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.
사람과 장면 간의 가림(occlusion)으로 인해 정적 기하학적 구조가 훼손되고 사람의 점유(occupancy) 예측이 불완전하거나 공간적으로 잘못 배치되는 실제 혼잡한 실내 환경에서, 4족 보행 로봇을 위한 단안 시맨틱 장면 완성(Semantic Scene Completion, SSC)은 여전히 충분히 연구되지 않았습니다. 본 논문에서는 이러한 환경을 위해 RGB-D 데이터셋이자 단안 SSC 프레임워크인 CrowdOcc를 제시합니다. CrowdOcc는 11개의 실내 장면에서 얻은 25.1K 프레임으로 구성되며, 정적·동적 분리를 통해 구축된 시맨틱 점유 주석을 포함합니다. 본 프레임워크는 (i) 가림에 강건한 기하학적 구조를 위해 깊이 인식 리프팅을 표면 법선(surface-normal) 단서로 보완하는 법선 유도 장면 기하학 융합(Normal Guided Scene Geometry Fusion, NGSGF), 그리고 (ii) 3D 공간에서 사람 간 및 국소적 사람-장면 간 관계를 선택적으로 모델링하는 사람 중심 희소 상호작용(Human-Centric Sparse Interaction, HCSI)을 결합합니다. 본 연구의 방법론은 장면이 분리된 CrowdOcc 테스트 세트에서 15.80 IoU, 11.40 mIoU, 46.23 Human IoU를 기록하며 최첨단 SSC 성능을 달성하여, 이전에 보지 못한 실내 장면에 대한 일반화 성능을 입증합니다.
차량용 레이더 인지 파이프라인은 일반적으로 학습 기반 모델을 적용하기 전에 빔포밍(beamforming)을 통해 각도 영역 표현을 구성합니다. 본 연구는 이와 달리 표현에 관한 질문을 탐구합니다: 빔포밍 이전의 안테나별 거리-도플러(RD) 측정값으로부터 의미 있는 공간 구조를 직접 학습할 수 있는가? 실험은 처프(chirp) 간 유효 송신 개구면이 달라지는(단일 TX 대 다중 TX) A/B 처프-시퀀스 주파수 변조 연속파(CS-FMCW) 송신 방식을 채택한 6-TX x 8-RX(48개 가상 안테나) 상용 차량용 레이더에서 수행되며, 이를 통해 처프에 따른 송신 구성에 대한 통제된 분석이 가능합니다. 본 연구에서는 단대단(end-to-end)의 완전한 데이터 주도 방식으로 학습된 듀얼 처프 공유 가중치 인코더를 사용하여 빔포밍 이전의 안테나별 RD 텐서를 처리하고, 성능 중심의 목표 대신 기하학적 프로브로서 조감도(BEV) 점유도를 활용해 공간 복원 가능성을 평가합니다. 지도 신호(supervision)는 가시성을 고려한 크로스 모달 방식으로, 레이더 시야각(field-of-view)의 명시적 모델링 및 광선 기반 가시성을 통한 폐색 인식 LiDAR 관측성을 바탕으로 LiDAR에서 도출됩니다. 신호 특성, 송신 구성(A-전용, B-전용, A+B), 수신 개구면, 거리-도플러 구조에 대한 분석과 함께 물리 기반 기준선(baseline)을 활용하여 공간 복원 가능성에 영향을 미치는 요인들을 조사합니다. 연구 결과는 수작업으로 설계된 신호 처리 단계에 의존하지 않고도, 학습된 공간 혼합을 통해 연구 대상인 A/B CS-FMCW 레이더 구성 하의 빔포밍 이전 안테나별 RD 텐서로부터 의미 있는 공간 구조를 복원할 수 있음을 나타냅니다.
고정된 노변 카메라는 드문드문 이동하는 교통 흐름이 겹쳐진 안정적인 장면을 반복적으로 관찰합니다. 시간적 메모리는 취약한 관측치를 복원할 수 있지만, 오래된 위치의 이동하는 단서를 재사용하면 점유 예측(occupancy prediction)을 훼손할 수 있습니다. 모션 보상은 변위 문제를 해결하지만, 그 결과로 얻은 이력 정보에 대한 의존도를 결정하는 것은 여전히 별도의 학습 문제입니다. 본 논문에서는 고정 좌표 이력(\emph{Persist}), 속도 기반 주소 지정 이력(\emph{Transport}), 현재 단서(\emph{Refresh}) 간의 소프트 라우팅을 학습하는 RoadOcc를 소개합니다. 모션 상태와 클래스 일관성을 갖는 이력 지원 정보가 이러한 소스 선택을 지도합니다. 동적 인지 크로스 어텐션(DCA)은 후보 위치를 업데이트하고, 다중 스케일 복셀 속도 추정(VVE)은 다중 스케일의 현재-이력 대응 관계로부터 이동 주소를 구성하며, 속도 유도 동적 희소 융합(VDSF)은 고정된 희소 토큰 예산 하에서 라우팅된 단서들을 결합합니다. InfraOcc에서 RoadOcc는 65.29 mIoU 및 32.37 동적 mIoU를 달성하여 STCOcc 대비 각각 4.44 및 4.71의 성능 향상을 기록했습니다. 통제된 주소 지정 실험에 따르면 VVE는 고정 좌표 읽기 방식 대비 동적 mIoU를 0.87 향상시킵니다. 세 가지 시드에 걸쳐 지도 학습된 P/T/R은 모션 보정 검색 방식 대비 1.40 동적 포인트를 추가하는 반면, Refresh를 제거하면 0.32 포인트의 손실이 발생합니다. 두 가지 전이 모델인 Occ3D-nuScenes 및 더 긴 간격 조건에서의 결과는 추가적인 근거를 제공합니다. 코드는 공개될 예정입니다.
인간이 있는 환경에서 장기 자율 주행을 하려면, 로봇이 아직 관측하지 못한 시점에 사람이 있을지·어떻게 움직일지를 미리 예측해야 한다. 기존 보행자 motion 표현은 트레이드오프에 있다. 미래 활동만 예측하면 각 위치가 스칼라 rate로 축소되고, 전체 방향 분포를 모델링하면 그 분포가 시간에 고정된다. 우리는 계층적 3D 씬 그래프(3DSG)를 4D 씬 그래프(4DSG)로 확장하는 예측적 방향 흐름 메모리 Kairos를 제안한다. 재구성 기하의 관측된 모든 복셀(voxel)은 방향 혼합(mixture)과 존재(presence) rate를 저장하고, 스펙트럴 예측기는 임의의 미래 질의 시각에 대해 사람 존재 확률과 motion의 전체 방향 분포를 함께 예측한다. 인접 복셀 간 쌍별(pairwise) 흐름 의존성은 조건부 질의를 지원하며, 복셀별 예측 분산은 관측이 쌓일수록 좁아지는 보정된 credible interval을 준다. Kairos를 세 가지 실제 보행 환경—로봇 수집 캠퍼스 데이터셋, 쇼핑몰, 11개월간 연속 기록한 역 대합실—에서 평가했다. 학습 상태는 loop-closure 보정 후에도 일관되며, Kairos는 순찰 로봇이 접근 가능한 극히 일부 데이터만으로 학습함에도 전체 검출 스트림으로 학습한 전용 점유(occupancy) 및 flow 모델과 경쟁력 있는 예측을 낸다. 마지막으로 downstream 조우 확률(encounter-probability) 계획 과제에서 표현을 검증했는데, Kairos 예측 위에서 계산한 계획은 동일 성공률에서 시간 불변(time-invariant) 맵 기반 계획보다 더 많은 사람과 조우한다. 코드는 https://github.com/IacopomC/kairos 에서 제공한다.
비전 중심 3D 점유 예측은 자율주행 및 로봇 내비게이션에 필수적인 밀집 장면 표현을 제공하지만, 기존 방법들은 계산 비용이 과도하여 고해상도 복셀 해상도로 확장하는 데 어려움을 겪는다. 이를 해결하기 위해, 우리는 프리미티브(primitives)를 coarse-to-fine 계층으로 구성하는 점진적 다중 스케일 가우시안 점유 예측 프레임워크인 GaussianSeed를 제안한다. 이 계층적 설계의 이점을 활용하여, GaussianSeed는 밀집 표현에 내재된 메모리 병목을 효과적으로 우회하며, 실시간 추론 능력을 유지하면서 $0.1\text{m}$ 공간 해상도까지 성공적으로 확장한다. 고해상도 기하학적 인식을 종합적으로 평가하기 위해, 우리는 고도로 상세한 $0.1\text{m}$ 주석이 포함된 파노라믹 6카메라 점유 데이터셋 TJScenes를 추가로 구축한다. Occ3D-nuScenes와 TJScenes에 대한 광범위한 실험 결과, GaussianSeed는 매우 경쟁력 있는 정확도를 유지하면서 평가된 모든 방법 중 최저 지연 시간을 달성하여, 고해상도 3D 점유 예측의 효율-품질 프론티어를 한 단계 끌어올린다.
3D semantic occupancy prediction has become a crucial perception task for comprehensive scene understanding in autonomous driving. While recent advances have explored 3D Gaussian splatting for occupancy modeling to substantially reduce computational overhead, the generation of high-quality 3D Gaussians relies heavily on accurate geometric cues, which are often insufficient in purely vision-centric paradigms. To bridge this gap, we advocate for injecting the strong geometric grounding capability from Vision Foundation Models (VFMs) into occupancy prediction. In this regard, we introduce Visual Geometry Grounded Gaussian Splatting (VG3S), a novel framework that empowers Gaussian-based occupancy prediction with cross-view 3D geometric grounding. Specifically, to fully exploit the rich 3D geometric priors from a frozen VFM, we propose a plug-and-play hierarchical geometric feature adapter, which can effectively transform generic VFM tokens via feature aggregation, task-specific alignment, and multi-scale restructuring. Extensive experiments on the nuScenes occupancy benchmark demonstrate that VG3S achieves remarkable improvements of 12.6% in IoU and 7.5% in mIoU over the baseline. Furthermore, we show that VG3S generalizes seamlessly across diverse VFMs, consistently enhancing occupancy prediction accuracy and firmly underscoring the immense value of integrating priors derived from powerful, pre-trained geometry-grounded VFMs.
정확한 3D 장면 이해는 체화 지능(embodied intelligence)과 자율주행의 기초이며, 3D 점유(occupancy)는 객체, 구조, 자유 공간에 대한 통합 표현을 제공한다. 그러나 시각 관측으로부터 이러한 완전한 체적(volumetric) 표현을 복원하는 것은, 특히 가려지거나 관측되지 않은 영역에서 여전히 어렵다. 시각 기하학 사전정보(visual geometry priors)는 이 문제를 해결하기 위한 강력하고 일반화 가능한 기하학적 단서를 제공하지만, 그 출력은 본질적으로 표면 중심(surface-centric)인 반면 점유 예측은 체적 내부와 자유 공간에 대한 추론을 요구한다. 이 간극을 메우기 위해, 우리는 visual geometry priors를 점유 인식(occupancy-aware) 희소 Gaussian 표현으로 변환하여 효율적이고 표현력 있는 체적 장면 모델링을 가능하게 하는 GPOcc를 제안한다. GPOcc를 기반으로 GPOcc++는 통합 프레임워크 내에서 다중 시점(multi-view) 관측과 시간적 시퀀스를 모델링하여, 공간 및 시간적 증거를 동일한 표현으로 처리할 수 있게 한다. 또한 GPOcc++를 실내 장면에서 실외 점유 예측으로 확장한다. 실내 및 실외 벤치마크에서의 광범위한 실험은 다중 시점 및 시간적 설정 모두에서 일관되게 강력한 성능과 함께 우수한 효율성 및 일반화를 보여준다. 코드는 https://github.com/JuIvyy/GPOcc 에서 공개될 예정이다.
신뢰할 수 있는 자율주행은 전경 객체와 밀집 의미론적 레이아웃을 결합하는 전체 장면 인식을 필요로 한다. 최근 4D 밀리미터파 레이더가 강건하고 저비용의 센서로 부상했지만, 희박한 반환값으로 인해 포괄적인 장면 이해를 위한 레이더-카메라 융합이 필요하다. 기존 레이더-카메라 방법은 주로 검출 최적화에 집중하는 반면, 듀얼 태스크 시스템은 제한된 상호작용으로 박스와 점유를 디코딩한다. 이러한 격차를 해소하고 레이더 기반 멀티태스크 학습을 발전시키기 위해, 우리는 의미론적 점유를 최종 출력이 아닌 지속적인 장면 상태로 모델링하는 360° 전체 장면 인식을 위한 4D 레이더-카메라 프레임워크인 4DR360을 제안한다. 4DR360은 크로스-모달 상태 추론 패러다임을 따르며, 점유 상태가 거친-세밀 특징 집계를 위해 단계별로 모델링되고 전파된다. 구체적으로, 상태 가이드 BEV 향상(SBE, State-guided BEV Enhancement)은 프레임 내 BEV 표현을 강화하고, 도플러 가이드 시간적 융합(DTF, Doppler-guided Temporal Fusion)은 더 긴 시간적 범위에 걸쳐 상태 증거를 보존한다. 모델 외에도, 위성 지도 기반으로 생성된 점유 레이블로 ManTruckScenes를 확장하고, 통합된 크로스-데이터셋 검출 및 점유 프로토콜에서 OmniHD-Scenes와 결합한다. 이를 통한 실험은 하나의 레이더-카메라 멀티태스크 평가 프레임워크 아래 정확도, 강건성, 절제 연구, 그리고 효율성을 다룬다. 코드와 레이블은 논문 채택 시 공개될 예정이다.
최근 실내 점유 예측 방법들은 계산 효율성을 위해 Gaussian primitive를 희소 3D 표현으로 채택한다. 그러나 이들의 학습은 voxel 분류에 의존하며, 이는 국소적 제약만을 부과하고 primitive 분포에 대한 전역적 supervision을 결여한다. 따라서 이들은 불가피하게 빈 영역에서 가짜 primitive를 예측하여, 표현 효율성과 계산 효율성 모두를 저해한다. 이를 해결하기 위해, 우리는 점유 예측을 voxel 분포 추정으로 재정식화하는 새로운 프레임워크인 전방향 가능도 최대화(Feed-forward Likelihood Maximization, FLM)를 제안한다. FLM에서는 네트워크가 전방향(feed-forward) 방식으로 ground-truth 점유 voxel에 대한 가능도를 최대화하는 혼합 모델(mixture model)을 예측하도록 학습된다. 네트워크와 표준 혼합 모델의 voxel화를 위한 end-to-end 학습을 가능하게 하기 위해, 혼합 가중치를 정규화된 primitive 부피로 정의하여 simplex 제약을 암묵적으로 강제하고, 새로운 voxel화 공식을 유도한다. FLM을 기반으로 한 FLM-Occ는 무작위로 초기화된 primitive를 장거리로 재배치하여 장면을 모델링할 수 있는 새로운 방법이다. Occ-ScanNet에서 FLM-Occ는 superquadric 32개만으로, 선행 SOTA의 2.7%에 해당하는 수준으로 더 높은 정확도를 달성하면서 3.7배 빠르게 동작한다.