arXiv:2611.23211v2 cs.CV

운전 능력 저하를 모델링하는 멀티모달 마스크 확산 오토인코더

Multimodal Masked Diffusion Autoencoder for Modeling Impaired Driving

John Gideon, Anshul Gupta, Megan Applegate-Kenton, Kayli Battel, Todd J Rowell, Patricio Reyes Gomez, Laporsha Dees, Emily Sumner, Avinash Balachandran, Guy Rosman

제출 2026-11-18

한국어 초록

주의 산만이나 스트레스와 같은 사람의 인지 상태, 시선, 행동은 운전 환경과 복잡하게 상호작용한다. AI는 이를 바탕으로 운전자를 지원할 수 있으나, 인지 상태의 수준을 나타내는 정답 레이블을 대규모로 수집하려면 비용이 많이 든다. 운전 능력 저하 예측에 자기지도 목적함수를 추가한 멀티모달 마스크 확산 오토인코더 ID-MAE를 제안한다. 마스킹된 토큰으로 주어진 능력 저하 레이블을 예측하는 동시에 마스킹된 시선과 주행 궤적도 복원한다. 모달리티와 능력 저하 유형이 추론에 미치는 영향을 살펴보기 위해 주행 시뮬레이터 데이터셋 DIVERT를 소개한다. 참여자 109명의 주행 데이터 103시간으로 구성되며, 인지·시각·정서 상태에 영향을 주는 10가지 조건 아래 시선, 차량 상태, 장면 영상을 기록했다. ID-MAE는 DIVERT와 기존 데이터셋 모두에서 운전 능력 저하 추론 성능을 크게 개선했으며, 주행 궤적과 시선 예측 등 추가 과제에서도 높은 성능을 보였다. DIVERT에서 위치를 맞춘 사례 쌍으로 운전 능력 저하를 탐지한 결과, 제안 모델의 쌍별 AUC는 0.706이었다. 복원 손실을 쓰지 않았을 때의 0.590 및 기존 기준선보다 높았다. 입력 모달리티, 마스킹 방식, 위치 인코딩, 어텐션 메커니즘, 디코딩을 바꾸며 설계 선택지를 조사했다. 학습과 추론에서 여러 유형의 능력 저하가 어떻게 상호작용하는지도 검토했으며, 시각적 부담이 큰 주의 분산이 인지적 주의 분산과 구별될 수 있음을 보였다. 코드와 데이터는 논문이 채택되면 공개할 예정이다.

원문 초록

Human cognitive state (e.g., distraction, stress), gaze, and behavior interact with the driving environment in subtle ways that AI could use to assist drivers, but ground-truth labels for human cognitive state levels are costly to obtain at scale. We propose a multimodal masked-diffusion autoencoder, ID-MAE, that adds a self-supervised objective to impairment prediction: alongside predicting the impairment label as a masked token, it reconstructs masked gaze and trajectory. To probe the effects of different modalities and types of impairments on model inference, we introduce DIVERT, a driving-simulator dataset containing 103 hours of driving data (n = 109) with ten impairment inductions spanning cognitive, visual, and emotional states, recorded with gaze, vehicle state, and scene video. We demonstrate how ID-MAE affords significant improvements in impairment inference results on both the DIVERT dataset and existing datasets, and enables strong results in additional tasks, such as trajectory and gaze prediction. For location-matched pairs, our model achieves a paired AUC of 0.706 for impairment detection on DIVERT, compared to 0.590 without reconstruction loss, improving over existing baselines. We probe the design space in terms of input modalities, masking scheme, positional encoding, attention mechanism, and decoding. We also investigate the interaction between various impairments in training and inference, demonstrating that visually demanding distractions are separable from cognitive distractions. Code and data will be available upon acceptance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23211v2제출 시각 미확인
  2. arXiv:2611.23211v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.