arXiv:2611.24840v1 cs.CV

행동이 중요한가? 자율주행 월드 모델로서의 행동 조건부 의미론적 예측 분석

Does the Action Matter? Probing Action-Conditioned Semantic Forecasting as a World Model for Autonomous Driving

Binay Kumar Singh, Niels Da Vitoria Lobo

제출 2026-11-19

한국어 초록

월드 모델은 자율주행에서 자차의 행동에 따라 장면이 어떻게 전개되는지를 예측하는 데 점점 더 많이 사용되며, 반사실적 추론과 모델 기반 계획을 뒷받침한다. 그러나 기존 평가는 예측 충실도와 계획 성능에 초점을 맞추며, 예측이 조건으로 주어진 행동에 의존하는지는 거의 검증하지 않는다. 본 논문에서는 과거 분할 결과와 자차의 행동으로부터 미래의 의미론적 분할을 예측하는 행동 조건부 의미론적 예측에서의 행동 의존성을 연구한다. 우리는 특징별(feature-wise) 및 입력 수준 행동 조건화를 갖춘 예측기를 행동 입력이 없는 동일한 모델과 비교하고, 표준 분할 지표로 평가한 테스트 시점 행동 개입을 통해 행동 의존성을 측정한다. 이 평가는 행동 의존적 동역학이 알려진 합성 환경에서 검증되었으며, 각 데이터셋 내부와 두 차량 플랫폼 간 모두에서 Cityscapes와 BDD100K에 적용되었다. 실험 결과, 실제로 수행된 행동은 중기 mIoU를 Cityscapes에서 최대 2.5포인트, BDD100K에서 최대 0.6포인트 향상시키는 데 그친 반면, 잘못된 행동은 이를 최대 23.2포인트와 7.0포인트 감소시켜 행동 입력이 없는 모델보다 낮아졌다. 실제 데이터에서 특징별 조건화는 비슷한 정확도에서 입력 수준 조건화보다 행동에 1.6배 더 의존한 반면, 이력이 행동을 결정하지 않는 합성 환경에서는 둘이 동등하게 의존하였다. 이러한 결과는 정확도 향상이 주행 월드 모델이 행동을 사용한다는 점은 나타내지만, 예측이 행동에 얼마나 강하게 의존하는지는 나타내지 않음을 보여 준다. 코드는 https://github.com/binayksingh/does-action-matter 에서 이용할 수 있다.

원문 초록

World models are increasingly used in autonomous driving to predict how a scene evolves under the ego vehicle's actions, supporting counterfactual reasoning and model-based planning. However, existing evaluations focus on prediction fidelity and planning performance, and rarely verify that the predictions depend on the conditioning action. In this paper, we study action dependence in action-conditioned semantic forecasting, which predicts future semantic segmentation from past segmentations and the ego action. We compare a forecaster with feature-wise and input-level action conditioning against an identical model without action input, and measure action dependence with test-time action interventions scored by standard segmentation metrics. The evaluation is validated in a synthetic environment with known action-dependent dynamics and applied to Cityscapes and BDD100K, both within each dataset and across the two vehicle platforms. Experiments show that the executed action improves mid-term mIoU by at most 2.5 points on Cityscapes and 0.6 points on BDD100K, whereas a wrong action reduces it by up to 23.2 and 7.0 points, below the model without action input. On real data, feature-wise conditioning depends 1.6 times more on the action than input-level conditioning at similar accuracy, whereas both depend on it equally in the synthetic environment, where the history does not determine the action. These results show that an accuracy gain indicates that a driving world model uses its action, but not how strongly its forecasts depend on it. Code is available at https://github.com/binayksingh/does-action-matter.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24840v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.