arXiv:2407.13155

Real-Time 3D Occupancy Prediction via Geometric-Semantic Disentanglement

Yulin He, Wei Chen, Tianci Xun, Yusong Tan

제출 2024-07-18

원문 초록

Occupancy prediction plays a pivotal role in autonomous driving (AD) due to the fine-grained geometric perception and general object recognition capabilities. However, existing methods often incur high computational costs, which contradicts the real-time demands of AD. To this end, we first evaluate the speed and memory usage of most public available methods, aiming to redirect the focus from solely prioritizing accuracy to also considering efficiency. We then identify a core challenge in achieving both fast and accurate performance: \textbf{the strong coupling between geometry and semantic}. To address this issue, 1) we propose a Geometric-Semantic Dual-Branch Network (GSDBN) with a hybrid BEV-Voxel representation. In the BEV branch, a BEV-level temporal fusion module and a U-Net encoder is introduced to extract dense semantic features. In the voxel branch, a large-kernel re-parameterized 3D convolution is proposed to refine sparse 3D geometry and reduce computation. Moreover, we propose a novel BEV-Voxel lifting module that projects BEV features into voxel space for feature fusion of the two branches. In addition to the network design, 2) we also propose a Geometric-Semantic Decoupled Learning (GSDL) strategy. This strategy initially learns semantics with accurate geometry using ground-truth depth, and then gradually mixes predicted depth to adapt the model to the predicted geometry. Extensive experiments on the widely-used Occ3D-nuScenes benchmark demonstrate the superiority of our method, which achieves a 39.4 mIoU with 20.0 FPS. This result is $\sim 3 \times$ faster and +1.9 mIoU higher compared to FB-OCC, the winner of CVPR2023 3D Occupancy Prediction Challenge. Our code will be made open-source.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15846v1cs.CV공통 태그 Autonomous Driving, Object Recognition

이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응

Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement

자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.

arXiv:2610.13891v1cs.CV공통 태그 Autonomous Driving, Disentanglement

눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.

arXiv:2609.27317v1cs.CV공통 태그 Autonomous Driving, Disentanglement

날씨-콘텐츠 결합 해소: 올인원 적외선 복원을 위한 유형-심각도 가이드 점진적 분리

Breaking Weather-Content Coupling: Type-Severity Guided Progressive Disentanglement for All-in-One Infrared Restoration

적외선(IR) 영상은 자율주행, 원격 탐사 및 기타 지각(perception) 과제에 필수적이다. 그러나 악천후는 실제 열 구조와 얽힌 가짜 구조적 응답을 유발할 수 있다. 기존 IR 복원 방법은 대개 단일 열화(degradation) 유형용으로 설계되거나, 열화가 얽힌 표현에서 직접 재구성한다. 그 결과 내재적 열 구조와 날씨로 인한 가짜 응답을 구분하기 어렵고, 공간적으로 변하는 열화 심각도(severity)에도 대응하기 힘들어 아티팩트가 생기거나 약하지만 의미 있는 열 응답이 과도하게 억제된다. 이를 해결하기 위해, 복원 가이던스를 과제 수준의 날씨 의미론과 영역 수준의 열화 심각도로 분해하는 올인원 적외선 복원용 유형-심각도 가이드 점진적 분리 네트워크 TSGPD-IR을 제안한다. 구체적으로, Weather and Semantic Co-Guided Multi-Level Prompt Generation Module은 전역 날씨 의미론과 단계별 지역 특징을 결합해 적응형 프롬프트를 생성하고, 열화 유발 응답을 점진적으로 억제하면서 내재적 열 구조를 보존한다. 전역 날씨 의미론을 공간적 복원 제어와 보완하기 위해, Proxy-Supervised Regional Degradation Estimator는 수동 주석 없이 심각도 지도(supervision)를 도출하고 공간적으로 변하는 열화 사전(prior)을 예측한다. 이러한 단서에 따라 Multi-Source Collaborative Expert Selection Strategy는 공유 분기로 날씨 불변 열 구조를 보존하고, 계층적 라우팅으로 날씨별 전문가 풀과 심각도에 맞는 지역 전문가를 선택한다. 이 설계는 열화 간섭을 진짜 열 콘텐츠와 점진적으로 분리하고 영역 적응형 복원을 가능하게 하여 잔여 아티팩트와 과억제를 모두 줄인다.

arXiv:2609.27677v1cs.CV공통 태그 Autonomous Driving, Prediction

RoadOcc: 노변 점유 예측을 위해 메모리의 유지, 이동, 갱신 시점을 학습하다

RoadOcc Learns When to Persist, Transport, or Refresh Memory for Roadside Occupancy Prediction

고정된 노변 카메라는 드문드문 이동하는 교통 흐름이 겹쳐진 안정적인 장면을 반복적으로 관찰합니다. 시간적 메모리는 취약한 관측치를 복원할 수 있지만, 오래된 위치의 이동하는 단서를 재사용하면 점유 예측(occupancy prediction)을 훼손할 수 있습니다. 모션 보상은 변위 문제를 해결하지만, 그 결과로 얻은 이력 정보에 대한 의존도를 결정하는 것은 여전히 별도의 학습 문제입니다. 본 논문에서는 고정 좌표 이력(\emph{Persist}), 속도 기반 주소 지정 이력(\emph{Transport}), 현재 단서(\emph{Refresh}) 간의 소프트 라우팅을 학습하는 RoadOcc를 소개합니다. 모션 상태와 클래스 일관성을 갖는 이력 지원 정보가 이러한 소스 선택을 지도합니다. 동적 인지 크로스 어텐션(DCA)은 후보 위치를 업데이트하고, 다중 스케일 복셀 속도 추정(VVE)은 다중 스케일의 현재-이력 대응 관계로부터 이동 주소를 구성하며, 속도 유도 동적 희소 융합(VDSF)은 고정된 희소 토큰 예산 하에서 라우팅된 단서들을 결합합니다. InfraOcc에서 RoadOcc는 65.29 mIoU 및 32.37 동적 mIoU를 달성하여 STCOcc 대비 각각 4.44 및 4.71의 성능 향상을 기록했습니다. 통제된 주소 지정 실험에 따르면 VVE는 고정 좌표 읽기 방식 대비 동적 mIoU를 0.87 향상시킵니다. 세 가지 시드에 걸쳐 지도 학습된 P/T/R은 모션 보정 검색 방식 대비 1.40 동적 포인트를 추가하는 반면, Refresh를 제거하면 0.32 포인트의 손실이 발생합니다. 두 가지 전이 모델인 Occ3D-nuScenes 및 더 긴 간격 조건에서의 결과는 추가적인 근거를 제공합니다. 코드는 공개될 예정입니다.

arXiv:2609.24193v1cs.CV공통 태그 Autonomous Driving, Prediction

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

arXiv:2609.24626v1cs.CV공통 태그 Autonomous Driving, Prediction

자율 주행을 위한 관계적으로 그라운딩된 잠재 세계 모델

Relationally Grounded Latent World Models for Autonomous Driving

잠재 세계 모델은 자율 주행을 위한 예측적 표현을 학습하지만, 이러한 상태가 보존하는 관계적 의미는 종종 암묵적으로 남아 있다. 우리는 교통 장면 그래프가 잠재 세계 표현에 대한 특권적 의미 감독으로 기능할 수 있는지 조사한다. LAW를 기반으로 nuScenes 3D 주석으로부터 액터 중심 장면 그래프를 구성하고, 동결된 텍스트 임베딩 모델로 직렬화된 관계 구조를 인코딩하며, 학습 중 시각적 잠재 표현을 이 의미적 목표와 정렬한다. 추론 시 감독 분기를 제거하므로 장면 그래프나 3D 주석이 필요하지 않으며 테스트 시간 계산도 추가하지 않는다. nuScenes에서 우리 방법은 재학습한 LAW 기준선 대비 평균 궤적 L2 오류를 0.661에서 0.622(5.9%)로, 충돌률을 0.456에서 0.217(52.4%)로 낮춘다. 또한 비구조화된 캡션 스타일 의미 목표보다 우수하여, 잠재 세계 모델 표현 학습에서 명시적 관계 구조의 이점을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.