Multimodal Skip-gram Using Convolutional Pseudowords
원문 초록
This work studies the representational mapping across multimodal data such that given a piece of the raw data in one modality the corresponding semantic description in terms of the raw data in another modality is immediately obtained. Such a representational mapping can be found in a wide spectrum of real-world applications including image/video retrieval, object recognition, action/behavior recognition, and event understanding and prediction. To that end, we introduce a simplified training objective for learning multimodal embeddings using the skip-gram architecture by introducing convolutional "pseudowords:" embeddings composed of the additive combination of distributed word representations and image features from convolutional neural networks projected into the multimodal space. We present extensive results of the representational properties of these embeddings on various word similarity benchmarks to show the promise of this approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MultiVENT-Raw: 원시 동영상 검색 및 추론 벤치마크
MultiVENT-Raw: A Benchmark for Retrieval and Reasoning over Raw Videos
온라인 정보는 점점 더 동영상 형식으로 소비되고 있다. 이 중 상당 부분은 원시 동영상(raw video) 형태로, 휴대폰·핸드헬드 카메라·CCTV로 촬영된 연속 영상이 소셜 미디어 플랫폼과 콘텐츠 공유 서비스에 바로 업로드되는 것이다. 전문적이거나 아마추어가 편집한 영상은 대본화된 발화, 자막(chyron), 그래픽, 메타데이터 등 주제를 맥락화하는 요소를 담는 경우가 많지만, 원시 동영상에는 일반적으로 이런 것이 없어 정보 검색(information retrieval)과 기계 이해(machine understanding)에 훨씬 더 어려운 매체가 된다. 이 분야의 진전을 돕기 위해 우리는 MultiVENT-Raw를 공개한다. 이는 주로 원시 동영상 약 12만 개(총 5,300시간 이상)로 이루어진 다국어 컬렉션으로, 130개의 이벤트와 222개의 이벤트 중심 쿼리와 짝지어져 있으며, 관련 동영상에 대한 사람이标注한 관련성 판정과 사람이 추출한 핵심 사실을 포함한다. MultiVENT-Raw는 검색(retrieval) 과제—쿼리 이벤트와 관련된 컬렉션 내 동영상을 식별하는 것—와 생성(generation) 과제—이벤트 관련 동영상을 대상 사용자를 위한 일관된 보고서로 요약하는 것—를 모두 지원한다. MultiVENT-Raw에서 강력한 베이스라인을 벤치마킹한 결과, 최신 멀티모달 모델 중 일부에게도 두 과제 모두 여전히 도전적임을 보였다.
CRAG-MM-Diagnostics: 지식 집약형 VQA의 단계별 분석 지원
CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA
지식 집약형 시각 질의응답(KI-VQA) 벤치마크는 제공된 이미지를 넘어서는 외부 정보를 요구하여 질문에 답함으로써, 비전-언어 모델(VLM)을 멀티모달 지식 어시스턴트로 평가한다. KI-VQA는 지시 표현(referring expression) 이해, 시각적 그라운딩(visual grounding), 객체 인식, 지식 검색, 추론 등 여러 하위 문제를 포함하지만, 기존 벤치마크는 일반적으로 최종 과제 정확도만 보고하여 실패가 어디에서 발생하는지를 가리는 경우가 많다. 전체 KI-VQA 파이프라인을 분석하기 위해, 우리는 1) 언어 기반 시각적 그라운딩, 2) 객체 식별, 3) 지식 검색 및 추론을 분리하는 단계별 데이터 어노테이션이 포함된 진단 벤치마크인 CRAG-MM-Diagnostics를 제안한다. 우리는 완전 파라미터형 및 검색-증강 VLM을 평가하고, 대상 ROI, 개체 이름, 시각적 복잡도 점수 등 새로 수집한 메타데이터를 활용하여 세밀한 분석을 제공한다. 우리의 결과는 지식 검색 및 추론이 주요 병목임을 시사하지만, VLM이 대상 객체 식별에 어려움을 겪거나 이미지 검색기가 텍스트 단서를 통합하는 데 어려움을 겪는 등 KI-VQA 파이프라인의 다른 부분에서도 문제가 있음을 강조한다. 이러한 발견은 현재 KI-VQA 시스템의 근본적 한계를 드러내고 단계 인식 평가(stage-aware evaluation)의 필요성을 촉진한다. 마지막으로, 우리는 이러한 발견을 활용하여 이미지 검색 전에 시각적 그라운딩 모듈을 통합해 대상을 크롭하는 그라운딩 기반 이미지-텍스트 RAG 파이프라인을 제안하며, GPT-5와 Qwen의 정확도를 각각 13.3 및 8.5 퍼센트포인트 향상시킨다.
Exploring the Temporal Cues to Enhance Video Retrieval on Standardized CDVA
Learning compact binary descriptors with unsupervised deep neural networks
Two-person interaction detection using body-pose features and multiple instance learning
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.