PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23507v1cs.CV

멀티모달 융합 트랜스포머를 통한 휴대폰 유발 보행자 주의 분산 탐지

Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer

스마트폰 의존도가 증가함에 따라 휴대폰으로 인한 보행자 주의 분산이 점점 더 흔해지고 있다. 문자 메시지 작성, 동영상 시청, 전화 통화와 같은 행동은 교통사고의 주요 원인이 되고 있다. 보행자의 주의 분산을 신뢰성 있게 탐지하는 것은 자율주행차량에 필수적인데, 이는 상황 인식을 향상시키고 적시의 위험 평가를 가능하게 하여 안전한 경로 계획(motion planning) 및 차량 제어를 지원하기 때문이다. 본 논문에서는 휴대폰으로 인한 보행자 주의 분산을 탐지하기 위한 멀티모달 융합 트랜스포머(Multimodal Fusion Transformer, MFT)를 제안한다. MFT는 신체 자세 키포인트로부터 골격 동역학(skeletal dynamics)을, 보행자 이미지로부터 시각적 외형 특징을 공동으로 추출하여 두 모달리티가 제공하는 상호 보완적인 정보를 효과적으로 활용한다. 멀티헤드 교차 어텐션(multi-head cross-attention)을 통해 모달리티 간 의존성을 포착하는 교차 모달 어텐션(cross-modal attention) 모듈이 제안되어, 두 모달리티 간 상호 보완적인 정보의 효과적인 융합을 가능하게 한다. 이어서 트랜스포머 인코더로 구현된 시간적 어텐션 융합 모듈을 사용하여 시간적 의존성을 포착한다. MFT는 20,741장의 이미지로 구성된 287개의 보행자 인스턴스로 이루어진 수작업 주석 데이터셋에서 학습 및 평가되었다. 광범위한 실험을 통해 MFT가 95%의 전체 정확도를 달성하며, 6가지 기준선(baseline) 접근법의 성능을 6% 상회함을 입증하였다.