arXiv:2008.01663 공식 코드 · Papers with Code

Efficient Urdu Caption Generation using Attention based LSTM

Inaam Ilahi, Hafiz Muhammad Abdullah Zia, Muhammad Ahtazaz Ahsan, Rauf Tabassam, Armaghan Ahmed

제출 2020-08-02

원문 초록

Recent advancements in deep learning have created many opportunities to solve real-world problems that remained unsolved for more than a decade. Automatic caption generation is a major research field, and the research community has done a lot of work on it in most common languages like English. Urdu is the national language of Pakistan and also much spoken and understood in the sub-continent region of Pakistan-India, and yet no work has been done for Urdu language caption generation. Our research aims to fill this gap by developing an attention-based deep learning model using techniques of sequence modeling specialized for the Urdu language. We have prepared a dataset in the Urdu language by translating a subset of the "Flickr8k" dataset containing 700 'man' images. We evaluate our proposed technique on this dataset and show that it can achieve a BLEU score of 0.83 in the Urdu language. We improve on the previous state-of-the-art by using better CNN architectures and optimization techniques. Furthermore, we provide a discussion on how the generated captions can be made correct grammar-wise.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2504.20091cs.CV공통 태그 Caption Generation공식 코드 · Papers with Code

VideoMultiAgents: A Multi-Agent Framework for Video Question Answering

비디오 질문 응답(Video Question Answering, VQA)은 본질적으로 시각적, 시간적, 언어적 단서를 통합하여 비디오 콘텐츠에 대한 더 깊은 이해를 달성하는 다중 모달 추론에 의존합니다. 그러나 기존의 많은 방법들은 프레임 수준의 캡션을 단일 모델에 입력하는 방식에 의존하여 시간적 및 상호작용적 맥락을 적절히 포착하기 어렵습니다. 이러한 한계를 해결하기 위해, 우리는 비디오 멀티 에이전트(VideoMultiAgents)라는 프레임워크를 소개합니다. 이 프레임워크는 비전, 장면 그래프 분석, 텍스트 처리를 위한 전문화된 에이전트를 통합하여 보완적인 다중 모달 추론을 활용하여 비디오 이해를 향상시킵니다. 우리의 접근 방식은 또한 주어진 쿼리와 직접적으로 관련된 객체, 행동 및 시간적 전환을 강조하는 캡션을 생성하는 질문 유도 캡션 생성으로 보완되어 답변 정확성을 향상시킵니다. 실험 결과, 우리의 방법이 Intent-QA에서 79.0% (+6.2% 이전 SOTA 대비), EgoSchema 하위 집합에서 75.4% (+3.4%), NExT-QA에서 79.6% (+0.4%)의 최첨단 성능을 달성함을 보여줍니다. 소스 코드는 https://github.com/PanasonicConnect/VideoMultiAgents에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.