arXiv:2609.27677v1 cs.CV

RoadOcc: 노변 점유 예측을 위해 메모리의 유지, 이동, 갱신 시점을 학습하다

RoadOcc Learns When to Persist, Transport, or Refresh Memory for Roadside Occupancy Prediction

Xiaokai Bai, Lei Yang, Songkai Wang, Lianqing Zheng, Si-Yuan Cao, Hui-liang Shen

제출 2026-09-24

한국어 초록

고정된 노변 카메라는 드문드문 이동하는 교통 흐름이 겹쳐진 안정적인 장면을 반복적으로 관찰합니다. 시간적 메모리는 취약한 관측치를 복원할 수 있지만, 오래된 위치의 이동하는 단서를 재사용하면 점유 예측(occupancy prediction)을 훼손할 수 있습니다. 모션 보상은 변위 문제를 해결하지만, 그 결과로 얻은 이력 정보에 대한 의존도를 결정하는 것은 여전히 별도의 학습 문제입니다. 본 논문에서는 고정 좌표 이력(\emph{Persist}), 속도 기반 주소 지정 이력(\emph{Transport}), 현재 단서(\emph{Refresh}) 간의 소프트 라우팅을 학습하는 RoadOcc를 소개합니다. 모션 상태와 클래스 일관성을 갖는 이력 지원 정보가 이러한 소스 선택을 지도합니다. 동적 인지 크로스 어텐션(DCA)은 후보 위치를 업데이트하고, 다중 스케일 복셀 속도 추정(VVE)은 다중 스케일의 현재-이력 대응 관계로부터 이동 주소를 구성하며, 속도 유도 동적 희소 융합(VDSF)은 고정된 희소 토큰 예산 하에서 라우팅된 단서들을 결합합니다. InfraOcc에서 RoadOcc는 65.29 mIoU 및 32.37 동적 mIoU를 달성하여 STCOcc 대비 각각 4.44 및 4.71의 성능 향상을 기록했습니다. 통제된 주소 지정 실험에 따르면 VVE는 고정 좌표 읽기 방식 대비 동적 mIoU를 0.87 향상시킵니다. 세 가지 시드에 걸쳐 지도 학습된 P/T/R은 모션 보정 검색 방식 대비 1.40 동적 포인트를 추가하는 반면, Refresh를 제거하면 0.32 포인트의 손실이 발생합니다. 두 가지 전이 모델인 Occ3D-nuScenes 및 더 긴 간격 조건에서의 결과는 추가적인 근거를 제공합니다. 코드는 공개될 예정입니다.

원문 초록

Fixed roadside cameras repeatedly observe a stable scene overlaid by sparse moving traffic. Temporal memory can recover weak observations, but reusing moving evidence at stale locations can corrupt occupancy predictions. Motion compensation addresses displacement, while reliance on the resulting history remains a separate learning problem. We introduce RoadOcc, which learns soft routing among fixed-coordinate history (\emph{Persist}), velocity-addressed history (\emph{Transport}), and current evidence (\emph{Refresh}). Motion state and class-consistent historical support supervise these source choices. Dynamic-aware cross-attention (DCA) updates candidate locations, multi-scale voxel velocity estimation (VVE) constructs transport addresses from multi-scale current--history correspondence, and velocity-guided dynamic sparse fusion (VDSF) combines routed evidence under fixed sparse-token budgets. On InfraOcc, RoadOcc reaches 65.29 mIoU and 32.37 dynamic mIoU, gains of 4.44 and 4.71 over STCOcc. Controlled address experiments show that VVE raises dynamic mIoU by 0.87 over fixed-coordinate reading. Across three seeds, supervised P/T/R adds 1.40 dynamic points over motion-corrected retrieval, while removing Refresh costs 0.32 points. Results from two transfer models, Occ3D-nuScenes, and longer intervals provide additional support. Code will be released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27677v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24193v1cs.CV공통 태그 Autonomous Driving, Prediction

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

arXiv:2609.24626v1cs.CV공통 태그 Autonomous Driving, Prediction

자율 주행을 위한 관계적으로 그라운딩된 잠재 세계 모델

Relationally Grounded Latent World Models for Autonomous Driving

잠재 세계 모델은 자율 주행을 위한 예측적 표현을 학습하지만, 이러한 상태가 보존하는 관계적 의미는 종종 암묵적으로 남아 있다. 우리는 교통 장면 그래프가 잠재 세계 표현에 대한 특권적 의미 감독으로 기능할 수 있는지 조사한다. LAW를 기반으로 nuScenes 3D 주석으로부터 액터 중심 장면 그래프를 구성하고, 동결된 텍스트 임베딩 모델로 직렬화된 관계 구조를 인코딩하며, 학습 중 시각적 잠재 표현을 이 의미적 목표와 정렬한다. 추론 시 감독 분기를 제거하므로 장면 그래프나 3D 주석이 필요하지 않으며 테스트 시간 계산도 추가하지 않는다. nuScenes에서 우리 방법은 재학습한 LAW 기준선 대비 평균 궤적 L2 오류를 0.661에서 0.622(5.9%)로, 충돌률을 0.456에서 0.217(52.4%)로 낮춘다. 또한 비구조화된 캡션 스타일 의미 목표보다 우수하여, 잠재 세계 모델 표현 학습에서 명시적 관계 구조의 이점을 뒷받침한다.

arXiv:2607.23511v1cs.CV공통 태그 Autonomous Driving, Prediction

MOJITO: 통합 종단간 자율 주행을 위한 모달리티 결합 학습

MOJITO: Modal Joint Learning for Unified End-to-End Autonomous Driving

종단간 자율 주행 시스템은 일반적으로 인지(perception) 단계가 다중 모달 센서 입력을 압축된 컨텍스트로 변환하고, 하류 플래너(planner)가 이 컨텍스트를 조건으로 궤적(trajectory)을 예측하는 2단계 캐스케이드 파이프라인을 따른다. 우리는 이러한 단방향 인지-계획 인터페이스가 센서 입력을 압축된 표현으로 강제하여, 계획에 중요한 세밀한 세부 정보를 잃게 한다고 주장한다. 또한 플래너를 이 압축된 컨텍스트로 제한함으로써, 최신 비전 기반 모델(vision foundation models)이 제공하는 풍부한 표현을 활용하기 어렵다. 이러한 문제를 해결하기 위해, 우리는 모달리티 결합 학습(modal joint learning)을 기반으로 한 종단간 자율 주행을 위한 통합 센서-액션(sensor-to-action) 프레임워크인 MOJITO를 제안한다. MOJITO는 캐스케이드 인터페이스를 제거하고, 대신 블록 단위(block-wise) Modal Joint Attention을 수행하여 액션(action), 이미지, LiDAR 특징(feature)을 동시에 갱신하고, 플래너가 액션 생성(action generation) 중 다중 모달 특징에 직접 접근할 수 있게 한다. MOJITO는 NAVSIM v1 데이터셋에서 88.9 PDMS, 더 도전적인 NAVSIM v2 데이터셋에서 88.4 EPDMS를 달성하여 새로운 최고 성능(state-of-the-art)을 기록했다. 광범위한 실험은 또한 강력한 확장성(scalability), 지시 따르기(instruction following), 다양한 궤적 생성을 입증한다. 코드와 모델은 https://github.com/mumucc01/MOJITO 에서 이용 가능하다.

arXiv:2607.20505v1cs.RO공통 태그 Autonomous Driving, Prediction

HERMES: 신호 교차로에서의 교통 충돌 예측을 위한 이질적 엣지-관계 다중 헤드 임베디드 SSM 어텐션

HERMES: Heterogeneous Edge-Relational Multi-Head Embedded SSM Attention for Traffic Conflict Prediction at Signalized Intersections

대리 안전 지표(SSM, surrogate safety measures)는 사전적 교통 안전 평가를 가능하게 하지만, 기존 방법의 다수는 쌍방(pairwise) 상호작용을 독립적으로 평가하거나 다중 에이전트 장면을 고정된 특징 벡터로 평탄화하여, 이질적 상호작용 구조와 변화하는 장면 수준 위험을 표현하는 능력을 제한한다. 본 연구는 교통 충돌 평가를 시간적 이질적 장면 그래프(scene-graph) 분류로 공식화하고, SSM 기반 다중 헤드 어텐션을 갖춘 이질적 엣지-관계 그래프 신경망인 HERMES를 제안한다. 차량과 보행자는 이질적 노드로 표현되고, 차량-차량, 차량-보행자, 보행자-보행자 상호작용은 연속적인 운동학적 및 대리 안전 특징(descriptors)을 갖는 관계별 엣지로 인코딩된다. 관계별 어텐션, 동적 노드-엣지 업데이트, 안전 인식 그래프 풀링, 시간적 시퀀스 학습을 함께 사용하여 장면 수준 충돌 확률을 추정한다. HERMES는 신호가 있는 도시 교차로에서 궤적 기반으로 수집한 109,028개 시퀀스로 평가되었고, 독립적으로 수집한 유사 교차로 데이터셋에서 검증되었다. 강화된 HERMES는 AUC-ROC 0.9898 +/- 0.0013, AUC-PR 0.9412 +/- 0.0067, F1 점수 0.8449 +/- 0.0103을 달성했다. 5% 오경보율에서 충돌 시퀀스의 95.7%를 탐지하여, 가장 강력한 트랜스포머 기준선과 XGBoost를 능가했다. 제로샷(zero-shot) 외부 평가에서 HERMES는 AUC-ROC 0.9752, AUC-PR 0.7829를 달성했다. 공동 소스-타깃 학습은 제한된 타깃 현장 데이터에서도 타깃 현장 성능을 추가로 개선했다. 이러한 결과는 이질적 상호작용 위상, 안전 정보를 반영한 엣지 의미론, 단기 시간적 진화를 보존하는 것이 장면 수준 충돌 분류를 향상시키고 신호 교차로에서 전이 가능한 도로변 안전 모니터링을 지원함을 보여준다.

arXiv:2607.20071v1cs.CV공통 태그 Autonomous Driving, occupancy prediction

GaussianSeed: 고해상도 3D 점유 예측을 위한 계층적 가우시안 시딩

GaussianSeed: Hierarchical Gaussian Seeding for High-Resolution 3D Occupancy Prediction

비전 중심 3D 점유 예측은 자율주행 및 로봇 내비게이션에 필수적인 밀집 장면 표현을 제공하지만, 기존 방법들은 계산 비용이 과도하여 고해상도 복셀 해상도로 확장하는 데 어려움을 겪는다. 이를 해결하기 위해, 우리는 프리미티브(primitives)를 coarse-to-fine 계층으로 구성하는 점진적 다중 스케일 가우시안 점유 예측 프레임워크인 GaussianSeed를 제안한다. 이 계층적 설계의 이점을 활용하여, GaussianSeed는 밀집 표현에 내재된 메모리 병목을 효과적으로 우회하며, 실시간 추론 능력을 유지하면서 $0.1\text{m}$ 공간 해상도까지 성공적으로 확장한다. 고해상도 기하학적 인식을 종합적으로 평가하기 위해, 우리는 고도로 상세한 $0.1\text{m}$ 주석이 포함된 파노라믹 6카메라 점유 데이터셋 TJScenes를 추가로 구축한다. Occ3D-nuScenes와 TJScenes에 대한 광범위한 실험 결과, GaussianSeed는 매우 경쟁력 있는 정확도를 유지하면서 평가된 모든 방법 중 최저 지연 시간을 달성하여, 고해상도 3D 점유 예측의 효율-품질 프론티어를 한 단계 끌어올린다.

arXiv:2607.13481v1cs.CV공통 태그 Autonomous Driving, occupancy prediction

GPOcc++: 시각 기하학 사전정보를 활용한 통합 희소 Gaussian 점유 예측

GPOcc++: Unified Sparse Gaussian Occupancy Prediction with Visual Geometry Priors

정확한 3D 장면 이해는 체화 지능(embodied intelligence)과 자율주행의 기초이며, 3D 점유(occupancy)는 객체, 구조, 자유 공간에 대한 통합 표현을 제공한다. 그러나 시각 관측으로부터 이러한 완전한 체적(volumetric) 표현을 복원하는 것은, 특히 가려지거나 관측되지 않은 영역에서 여전히 어렵다. 시각 기하학 사전정보(visual geometry priors)는 이 문제를 해결하기 위한 강력하고 일반화 가능한 기하학적 단서를 제공하지만, 그 출력은 본질적으로 표면 중심(surface-centric)인 반면 점유 예측은 체적 내부와 자유 공간에 대한 추론을 요구한다. 이 간극을 메우기 위해, 우리는 visual geometry priors를 점유 인식(occupancy-aware) 희소 Gaussian 표현으로 변환하여 효율적이고 표현력 있는 체적 장면 모델링을 가능하게 하는 GPOcc를 제안한다. GPOcc를 기반으로 GPOcc++는 통합 프레임워크 내에서 다중 시점(multi-view) 관측과 시간적 시퀀스를 모델링하여, 공간 및 시간적 증거를 동일한 표현으로 처리할 수 있게 한다. 또한 GPOcc++를 실내 장면에서 실외 점유 예측으로 확장한다. 실내 및 실외 벤치마크에서의 광범위한 실험은 다중 시점 및 시간적 설정 모두에서 일관되게 강력한 성능과 함께 우수한 효율성 및 일반화를 보여준다. 코드는 https://github.com/JuIvyy/GPOcc 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.