Video Caption Dataset for Describing Human Actions in Japanese
원문 초록
In recent years, automatic video caption generation has attracted considerable attention. This paper focuses on the generation of Japanese captions for describing human actions. While most currently available video caption datasets have been constructed for English, there is no equivalent Japanese dataset. To address this, we constructed a large-scale Japanese video caption dataset consisting of 79,822 videos and 399,233 captions. Each caption in our dataset describes a video in the form of "who does what and where." To describe human actions, it is important to identify the details of a person, place, and action. Indeed, when we describe human actions, we usually mention the scene, person, and action. In our experiments, we evaluated two caption generation methods to obtain benchmark results. Further, we investigated whether those generation methods could specify "who does what and where."
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DenseWorld-1M: Towards Detailed Dense Grounded Caption in the Real World
SonicVerse: Multi-Task Learning for Music Feature-Informed Captioning
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
VCapsBench: A Large-scale Fine-grained Benchmark for Video Caption Quality Evaluation
LoVR: A Benchmark for Long Video Retrieval in Multimodal Contexts
VideoMultiAgents: A Multi-Agent Framework for Video Question Answering
비디오 질문 응답(Video Question Answering, VQA)은 본질적으로 시각적, 시간적, 언어적 단서를 통합하여 비디오 콘텐츠에 대한 더 깊은 이해를 달성하는 다중 모달 추론에 의존합니다. 그러나 기존의 많은 방법들은 프레임 수준의 캡션을 단일 모델에 입력하는 방식에 의존하여 시간적 및 상호작용적 맥락을 적절히 포착하기 어렵습니다. 이러한 한계를 해결하기 위해, 우리는 비디오 멀티 에이전트(VideoMultiAgents)라는 프레임워크를 소개합니다. 이 프레임워크는 비전, 장면 그래프 분석, 텍스트 처리를 위한 전문화된 에이전트를 통합하여 보완적인 다중 모달 추론을 활용하여 비디오 이해를 향상시킵니다. 우리의 접근 방식은 또한 주어진 쿼리와 직접적으로 관련된 객체, 행동 및 시간적 전환을 강조하는 캡션을 생성하는 질문 유도 캡션 생성으로 보완되어 답변 정확성을 향상시킵니다. 실험 결과, 우리의 방법이 Intent-QA에서 79.0% (+6.2% 이전 SOTA 대비), EgoSchema 하위 집합에서 75.4% (+3.4%), NExT-QA에서 79.6% (+0.4%)의 최첨단 성능을 달성함을 보여줍니다. 소스 코드는 https://github.com/PanasonicConnect/VideoMultiAgents에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.