arXiv:1711.03270

Predicting Scene Parsing and Motion Dynamics in the Future

Xiaojie Jin, Huaxin Xiao, Xiaohui Shen, Jimei Yang, Zhe Lin, Yunpeng Chen, Zequn Jie, Jiashi Feng, Shuicheng Yan

제출 2017-11-09

원문 초록

The ability of predicting the future is important for intelligent systems, e.g. autonomous vehicles and robots to plan early and make decisions accordingly. Future scene parsing and optical flow estimation are two key tasks that help agents better understand their environments as the former provides dense semantic information, i.e. what objects will be present and where they will appear, while the latter provides dense motion information, i.e. how the objects will move. In this paper, we propose a novel model to simultaneously predict scene parsing and optical flow in unobserved future video frames. To our best knowledge, this is the first attempt in jointly predicting scene parsing and motion dynamics. In particular, scene parsing enables structured motion prediction by decomposing optical flow into different groups while optical flow estimation brings reliable pixel-wise correspondence to scene parsing. By exploiting this mutually beneficial relationship, our model shows significantly better parsing and motion prediction results when compared to well-established baselines and individual prediction models on the large-scale Cityscapes dataset. In addition, we also demonstrate that our model can be used to predict the steering angle of the vehicles, which further verifies the ability of our model to learn latent representations of scene dynamics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2511.18254v3cs.CV공통 태그 Optical Flow Estimation, Autonomous Vehicles

UniFlow: 자율주행 차량을 위한 제로샷 LiDAR 씬 플로우

UniFlow: Zero-Shot LiDAR Scene Flow for Autonomous Vehicles

LiDAR 씬 플로우는 연속된 포인트 클라우드 간의 점 단위 3D 움직임을 추정하는 작업이다. 최근 방법들은 널리 쓰이는 자율주행 차량(AV) 데이터셋에서 센티미터급 정확도를 달성하지만, 일반적으로 단일 센서에 대해서만 학습 및 평가된다. 본 논문에서는 다양하고 보지 못한 LiDAR 센서로 전이할 수 있는 일반적인 움직임 사전(prior)을 학습하는 것을 목표로 한다. 그러나 LiDAR 의미 분할 및 3D 객체 검출의 선행 연구는 여러 데이터셋에 대해 단순히 학습하는 것이 단일 데이터셋 모델보다 성능이 더 나쁘다는 것을 보여준다. 흥미롭게도, 우리는 이러한 통념이 움직임 추정에는 적용되지 않으며, 최신 씬 플로우 방법들이 아키텍처 수정 없이 교차 데이터셋 학습으로 크게 이득을 본다는 것을 발견했다. 우리는 움직임 추정과 같은 저수준 작업이 센서 구성에 덜 민감할 수 있다고 주장한다. 실제로, 우리의 분석은 고속 이동 객체(예: 고속도로 데이터셋)에 대해 학습된 모델이 서로 다른 데이터셋 간에도 고속 이동 객체에서 잘 수행됨을 보여준다. 분석 결과를 바탕으로, 우리는 다양한 센서 배치와 포인트 클라우드 밀도를 가진 여러 대규모 LiDAR 씬 플로우 데이터셋을 통합하여 학습하는 순전파(feedforward) 모델 UniFlow를 제안한다. 우리의 기막히게 단순한 솔루션은 Waymo와 nuScenes에서 새로운 최신(state-of-the-art) 성능을 확립하며, 각각 선행 연구 대비 5.1% 및 35.2% 개선을 달성한다. 또한 UniFlow는 TruckScenes 및 AEVAScenes와 같은 보지 못한 데이터셋에서 최신 정확도를 달성하며, 각각 선행 데이터셋별 모델 대비 30.1% 및 22.5% 더 우수한 성능을 보인다.

arXiv:2606.24499v1cs.CV공통 태그 Optical Flow Estimation, Autonomous Vehicles

GeoIMO: 이벤트 카메라를 위한 기하학 기반 독립 운동 분류

GeoIMO: Geometry-Driven Independent Motion Classification for Event Cameras

기존의 자동차 이벤트 데이터셋은 프레임 파이프라인의 외관 기반 어노테이션에 의존하기 때문에 모션 인식 이벤트 퍼셉션에는 적합하지 않다. 우리는 이벤트 스트림에서 직접 에고 모션 구조를 활용하여 탐지된 객체를 정적 또는 독립적으로 움직이는 것으로 분류하는, 기하학 기반의 어노테이션 불필요 프레임워크를 제시한다. 요(yaw) 보상이 적용된 Focus of Expansion 모델이 전역 배경 모션을 추정하며, 로컬 모션이 이 예측에서 벗어날 때—스케일 불변 잔차로 정량화하여—해당 객체를 움직이는 것으로 레이블링한다. 시간적 안정화는 연속적인 이벤트 윈도우 전반에 걸쳐 강건성을 향상시킨다. 이 방법은 학습이 필요 없고 수동 모션 레이블도 요구하지 않으며, 임의의 입력 바운딩 박스와 함께 동작한다. MVSEC 및 Prophesee 1 Megapixel Automotive Detection 데이터셋에 대한 실험은 다양한 주행 시나리오에서 일관된 성능을 보여주며, 요 보상은 회전 구간에서 결과를 개선하고 단순한 병진(translational) 로컬 모델은 유리한 정확도-효율성 트레이드오프를 제공함을 확인하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.