arXiv:1805.08389

Joint Image Captioning and Question Answering

Jialin Wu, Zeyuan Hu, Raymond J. Mooney

제출 2018-05-22

원문 초록

Answering visual questions need acquire daily common knowledge and model the semantic connection among different parts in images, which is too difficult for VQA systems to learn from images with the only supervision from answers. Meanwhile, image captioning systems with beam search strategy tend to generate similar captions and fail to diversely describe images. To address the aforementioned issues, we present a system to have these two tasks compensate with each other, which is capable of jointly producing image captions and answering visual questions. In particular, we utilize question and image features to generate question-related captions and use the generated captions as additional features to provide new knowledge to the VQA system. For image captioning, our system attains more informative results in term of the relative improvements on VQA tasks as well as competitive results using automated metrics. Applying our system to the VQA tasks, our results on VQA v2 dataset achieve 65.8% using generated captions and 69.1% using annotated captions in validation set and 68.4% in the test-standard set. Further, an ensemble of 10 models results in 69.7% in the test-standard split.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28222v1cs.CV공통 태그 Question Answering, Image Captioning

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2609.23769v1cs.CV공통 태그 Question Answering, Image Captioning

PRISM-RAG: 담배 제품 및 입법 정책 추론을 위한 멀티모달 하이퍼그래프 검색-증강 생성

PRISM-RAG: Multimodal Hypergraph Retrieval-Augmented Generation for Tobacco Product and Legislative Policy Reasoning

관할권 간 의미적으로 유사한 법령 문구를 구분하는 문제는 기존 방법으로는 해결되지 않는 검색(retrieval) 문제이다. 이러한 문맥 간 충돌은 생성 모델이 주제적으로는 관련 있으나 관할권상으로는 잘못된 출처에 근거한, 확신에 찬 답변을 내도록 이끌 수 있다. 담배 및 니코틴 규제는 미국 관할권마다 달라 종종 유사한 표현을 공유하므로, 견고한 추론을 위해서는 관련 문장만 검색하는 것이 아니라 특정 제품에 어떤 관할권의 법이 적용되는지 식별해야 한다. 신규 제품(예: 파우치)은 모호한 정의를 이용해 규제를 회피한다. 최신(SOTA) 문서 검색-증강 생성(RAG) 방법은 이러한 문맥 간 충돌을 다루기 어려워, 이미지 속성(예: 풍부한 속성 캡션)과 유사한 법령 텍스트 집합을 연결하는 데도 어려움을 겪는다. 우리는 NicoPRISM(Nicotine Product and Regulation Image-and-Text Surveillance Multimodal)을 제안하며, 이는 161,563장의 이미지, 속성 캡션, 13개 미국 관할권에 걸친 제품·보건·입법 문서 지식 베이스, 그리고 정책 준수 QA와 제품 지식 QA 두 과제에 걸친 1,495개의 검증된 질의-응답 쌍으로 구성된다. 또한 PRISM-RAG를 제안한다. 이는 이미지, 캡션, 엔티티 위에 구축된 멀티모달 하이퍼그래프 RAG 프레임워크로, 인덱싱 시점에는 LLM 호출 없이 모든 질의를 제품 이미지에 그라운딩(grounding)하고, 질의된 관할권의 법령 텍스트가 구조적으로 언어 모델에 전달되도록 관할권 인식 문맥 조립 메커니즘을 통해 검색을 라우팅한다. PRISM-RAG는 정책 준수 질의의 93.9%에서 올바른 관할권의 구절을 검색하며, 표준 RAG 대비 48.6%p 우위(p<0.001)를 보인다. 인덱싱 시점 LLM 호출은 0회, 쿼리 시점 1회이며, 키워드·의미·관할권·준수 정확도 지표에서 최신 RAG 프레임워크와 동등하거나 더 나은 성능을 낸다.

arXiv:2607.11798v1cs.CV공통 태그 Question Answering, Image Captioning

StoryTeller: 장편 오디오 설명을 위한 학습 없는 내러티브 그라운딩

StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description

장편 오디오 설명(AD)은 가시적인 행동을 묘사하는 것 이상을 요구한다. 시각 장애 및 저시력(BLV) 관객이 영화를 따라갈 수 있도록, 장면 전반에 걸쳐 등장인물, 사건, 관계, 이야기 맥락을 유지해야 한다. 최신 비디오-언어 모델(VLM)은 짧은 클립에서는 효과적이지만, 각 순간을 독립적으로 처리하는 경우가 많아 등장인물이 누구인지, 사건이 왜 중요한지, 현재 장면이 앞선 내러티브 맥락과 어떻게 연결되는지를 놓치는 설명을 생성한다. 우리는 이야기 인식 장편 AD를 위한 학습 없는 프레임워크인 StoryTeller를 제안한다. StoryTeller는 국소적인 시각 단서에만 의존하는 대신, 이야기와 관련된 정보를 장면에 걸쳐 전달하는 검증된 내러티브 메모리를 유지함으로써, 이후의 설명이 일관성을 갖추고 사실에 기반하며 맥락상 풍부한 정보를 담을 수 있도록 한다. 원본 영상과 영화 제목만 주어지면, StoryTeller는 선택적으로 공개 영화 메타데이터를 검색하여 이름과 이야기 맥락을 해소하는 한편, 의미론적 필터링과 VLM 검증을 통해 영상에 의해 뒷받침되는 사실만을 수용한다. 이 방법은 자막, 스크립트, AD 전사본, 정렬된 캡션, 등장인물 데이터베이스, 사전 계산된 얼굴 인식 정보, 또는 태스크별 미세조정을 필요로 하지 않는다. 생성된 AD가 내러티브 정보를 보존하는지 평가하기 위해, 우리는 언어 모델이 생성된 설명만을 사용하여 이야기 맥락 질문에 답할 수 있는지를 검증하는 질의응답 벤치마크인 StoryAD-QA를 도입한다. 표준 AD 벤치마크와 다양한 장편 영상에 대한 실험 결과, StoryTeller는 자동 평가, QA 기반 평가, 인간 평가 모두에서 강력한 기준 모델 대비 내러티브 일관성, 사실적 그라운딩, 이야기 이해도를 일관되게 향상시킴을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.