Future Semantic Segmentation with Convolutional LSTM
원문 초록
We consider the problem of predicting semantic segmentation of future frames in a video. Given several observed frames in a video, our goal is to predict the semantic segmentation map of future frames that are not yet observed. A reliable solution to this problem is useful in many applications that require real-time decision making, such as autonomous driving. We propose a novel model that uses convolutional LSTM (ConvLSTM) to encode the spatiotemporal information of observed frames for future prediction. We also extend our model to use bidirectional ConvLSTM to capture temporal information in both directions. Our proposed approach outperforms other state-of-the-art methods on the benchmark dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Convolutional Neural Network for Point Cloud Instance Segmentation in Cluttered Scene Trained by Synthetic Data Without Color
자율주행을 위한 신뢰할 수 있는 비전-언어 모델을 향하여
Towards Reliable Vision-Language Models for Autonomous Driving
비전-언어 모델(VLM)은 장면 이해, 주행 추론, 의사결정, 엔드투엔드(end-to-end) 주행과 같은 작업을 위해 자율주행 분야에서 점점 더 활발히 탐색되고 있습니다. 이들의 역할이 더욱 두드러짐에 따라, 강건성(robustness)과 신뢰성(reliability)을 확보하는 것이 점차 중요해지고 있습니다. 실제 환경 조건에서는 센서 결함 및 환경적 요인으로 인해 시각적 입력이 저하될 수 있으며, 이는 모델의 예측과 그에 수반되는 신뢰도(confidence) 모두에 잠재적으로 영향을 미칠 수 있습니다. 이러한 저하는 안전이 핵심적인(safety-critical) 의사결정을 위해 모델이 정확한 예측을 수행하고 자신의 예측이 신뢰할 수 없는 경우를 인식해야 하는 자율주행에서 특히 우려되는 문제입니다. 본 연구에서는 단일 프레임, 다중 뷰(multi-view), 다중 프레임, 단안(monocular) 입력을 포함한 서로 다른 시각적 입력 설정을 갖춘 4개의 주행 관련 QA 데이터셋에 걸쳐 5종의 VLM(Qwen3.5-9B, Gemma4-E4B, LLaVA-OneVision-7B, DriveFusion/DriveFusionQA-4B, NVIDIA Alpamayo-1.5-10B)을 평가합니다. 실험 결과, 시각적 손상(visual corruption)의 영향은 모델, 데이터셋, 입력 설정에 따라 다양하게 나타났으며, 정확도와 신뢰도 신뢰성의 변화 또한 조건에 따라 상이함을 보여줍니다. 이어서 우리는 최근의 추론(inference) 시점 기법인 Visual Evidence Augmentation($\mathrm{V}{\scriptstyle \mathrm{EA}}$)을 적용하여, 저하된 시각적 조건에서 모델 신뢰성을 향상시킬 수 있는지 살펴봅니다. 그 결과 $\mathrm{V}{\scriptstyle \mathrm{EA}}$가 일부 모델과 데이터셋에서 성능을 향상시키지만, 모든 설정에서 일관되게 향상되는 것은 아님을 확인했습니다.
ZS-VCOS: Zero-Shot Outperforms Supervised Video Camouflaged Object Segmentation with Zero-Shot Method
TriLiteNet: Lightweight Model for Multi-Task Visual Perception
CVAE-SM: A Conditional Variational Autoencoder with Style Modulation for Efficient Uncertainty Quantification
Learning Generalized Segmentation for Foggy-scenes by Bi-directional Wavelet Guidance
토론
이 논문과 연결된 포럼 글이 아직 없습니다.