arXiv:1509.04942

Guiding Long-Short Term Memory for Image Caption Generation

Xu Jia, Efstratios Gavves, Basura Fernando, Tinne Tuytelaars

제출 2015-09-16

원문 초록

In this work we focus on the problem of image caption generation. We propose an extension of the long short term memory (LSTM) model, which we coin gLSTM for short. In particular, we add semantic information extracted from the image as extra input to each unit of the LSTM block, with the aim of guiding the model towards solutions that are more tightly coupled to the image content. Additionally, we explore different length normalization strategies for beam search in order to prevent from favoring short sentences. On various benchmark datasets such as Flickr8K, Flickr30K and MS COCO, we obtain results that are on par with or even outperform the current state-of-the-art.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2504.20091cs.CV공통 태그 Caption Generation공식 코드 · Papers with Code

VideoMultiAgents: A Multi-Agent Framework for Video Question Answering

비디오 질문 응답(Video Question Answering, VQA)은 본질적으로 시각적, 시간적, 언어적 단서를 통합하여 비디오 콘텐츠에 대한 더 깊은 이해를 달성하는 다중 모달 추론에 의존합니다. 그러나 기존의 많은 방법들은 프레임 수준의 캡션을 단일 모델에 입력하는 방식에 의존하여 시간적 및 상호작용적 맥락을 적절히 포착하기 어렵습니다. 이러한 한계를 해결하기 위해, 우리는 비디오 멀티 에이전트(VideoMultiAgents)라는 프레임워크를 소개합니다. 이 프레임워크는 비전, 장면 그래프 분석, 텍스트 처리를 위한 전문화된 에이전트를 통합하여 보완적인 다중 모달 추론을 활용하여 비디오 이해를 향상시킵니다. 우리의 접근 방식은 또한 주어진 쿼리와 직접적으로 관련된 객체, 행동 및 시간적 전환을 강조하는 캡션을 생성하는 질문 유도 캡션 생성으로 보완되어 답변 정확성을 향상시킵니다. 실험 결과, 우리의 방법이 Intent-QA에서 79.0% (+6.2% 이전 SOTA 대비), EgoSchema 하위 집합에서 75.4% (+3.4%), NExT-QA에서 79.6% (+0.4%)의 최첨단 성능을 달성함을 보여줍니다. 소스 코드는 https://github.com/PanasonicConnect/VideoMultiAgents에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.