Inter-3D VQA: 3D 시공간 그라운딩 비주얼 질의응답을 위한 도로변 멀티모달 벤치마크
Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering
한국어 초록
최근 비주얼 질의응답(VQA)과 멀티모달 대규모 언어 모델(MLLM)의 발전으로 교통 장면에 대한 자연어 추론이 가능해졌다. 그러나 기존 벤치마크는 대부분 자차 시점이나 2D 도로변 영상을 기반으로 구축되어, 실제 거리, 궤적, 인프라 위상, 안전에 중요한 상호작용에 대한 3D 그라운딩 추론을 평가하는 데 한계가 있다. 우리는 교차로에서 3D 시공간 그라운딩 VQA를 위한 대규모 도로변 멀티모달 벤치마크인 Inter-3D VQA를 제안한다. 동기화된 포인트 클라우드와 다시점 이미지로 구축된 Inter-3D VQA는 차선 수준 위치, 객체 관계, 운동 패턴, near-miss 지향 상호작용 추론을 포함하는 407K QA 쌍을 담고 있다. 또한 객체 및 장면 수준 정렬 LiDAR 표현을 통합한 MLLM 기준선 Inter-Geo와, 텍스트 일관성, 수치 정확도, 의미적 정확성을 위한 통합 평가 프레임워크 Inter-Metrics를 제안한다. 실험 결과 Inter-Geo는 이미지 기반 VLM보다 우수하며, 특히 그라운딩된 공간 및 시간 추론 과제에서 두드러진다. 벤치마크와 코드는 https://github.com/ASU-Suo-Lab/Inter-3D-VQA 에서 이용할 수 있다.
원문 초록
Recent advances in visual question answering (VQA) and multimodal large language models (MLLMs) have enabled natural-language reasoning over traffic scenes. However, existing benchmarks are largely built from ego-vehicle views or 2D roadside videos, limiting their ability to evaluate 3D-grounded reasoning over real-world distances, trajectories, infrastructure topology, and safety-critical interactions. We introduce Inter-3D VQA, a large-scale roadside multimodal benchmark for 3D spatiotemporally grounded VQA at intersections. Built from synchronized point clouds and multi-view images, Inter-3D VQA contains 407K QA pairs covering lane-level positions, object relationships, motion patterns, and near-miss-oriented interaction reasoning. We further propose Inter-Geo, an MLLM baseline that integrates object- and scene-level aligned LiDAR representations, and Inter-Metrics, a unified evaluation framework for textual consistency, numerical accuracy, and semantic correctness. Experiments show that Inter-Geo outperforms image-based VLMs, especially on grounded spatial and temporal reasoning tasks. Our benchmark and codes are available at https://github.com/ASU-Suo-Lab/Inter-3D-VQA .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.28762v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.