카메라를 넘어: 악천후에서 미래의 RGB·열화상·라이다를 예측하는 3모달 주행 월드 모델
Beyond the Camera: A Tri-Modal Driving World Model for Future RGB, Thermal, and LiDAR Forecasting in Adverse Weather
한국어 초록
주행 월드 모델은 차량의 센서가 앞으로 기록할 내용을 예측한다. 대부분 카메라 영상을 예측하고 일부는 라이다도 다룬다. 어둠이나 일부 악천후에서도 관측할 수 있는 열화상 카메라를 예측하는 경우는 드물며, 우리가 아는 한 세 센서를 모두 예측하는 월드 모델은 없었다. DSERT-RoLL 데이터셋의 실제 악천후 시퀀스에서 RGB, 열화상, 라이다의 공동 예측을 연구한다. 사전학습한 비디오 월드 모델을 센서별로 사후 학습한다. 라이다는 RGB 카메라에 정렬한 깊이 비디오로 표현하고, 모델의 비디오 토크나이저가 복원할 수 있는 범위에 맞춰 조밀화와 인코딩 방법을 정한다. 세 센서를 함께 처리하는 모델은 모두를 하나의 비디오로 입력받는다. 라이다는 실제 반사 관측값과 비교해 미터 단위로 평가하고, 모델과 같은 토크나이저를 거친 지속성 기준선과 비교한다. 이처럼 조건을 맞추자 안개에서 열화상 모델이 지속성 기준선보다 낮았던 성능 차이가 사라졌다. 여섯 기상 조건의 검증 시퀀스 58개 전체에서 사후 학습한 RGB와 열화상 예측은 압축 조건을 맞춘 지속성 기준선을 앞섰다. 공동 학습은 카메라 영상의 충실도를 소폭 낮추는 대신 2초 후의 라이다 오차를 2.1m 줄였다. 평균 라이다 오차에서 지속성 기준선보다 우수한 모델은 세 센서를 함께 처리하는 모델뿐이었다. 센서 하나의 입력을 비우면 나머지 센서의 예측 성능이 안개보다 눈에서 더 나빠졌다.
원문 초록
Driving world models forecast what a vehicle's sensors will record next. Most forecast camera video and some add LiDAR, but thermal cameras, which still see in darkness and some adverse weather, are rarely a forecast target, and to our knowledge no world model forecasts all three sensors. We study joint forecasting of RGB, thermal, and LiDAR on real adverse-weather sequences of the DSERT-RoLL dataset. We post-train a pretrained video world model for each sensor and represent LiDAR as a depth video aligned with the RGB camera, with densification and encoding chosen by what the model's video tokenizer can reconstruct. A tri-sensor model sees all three sensors as one video. We score LiDAR in meters against measured returns and compare against persistence baselines passed through the same tokenizer as the model. With this matching, an apparent loss of the thermal model to persistence in fog disappears. On all 58 validation sequences in six weather conditions, post-trained RGB and thermal forecasts beat compression-matched persistence. Joint training lowers the LiDAR error at 2s by 2.1m at a small cost in camera fidelity, and only the tri-sensor model's LiDAR forecasts beat persistence in mean error. Blanking one sensor degrades the forecasts of the others more in snow than in fog.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22669v2제출 시각 미확인
- arXiv:2611.22669v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.