arXiv:1706.06275

Using Artificial Tokens to Control Languages for Multilingual Image Caption Generation

Satoshi Tsutsui, David Crandall

제출 2017-06-20

원문 초록

Recent work in computer vision has yielded impressive results in automatically describing images with natural language. Most of these systems generate captions in a sin- gle language, requiring multiple language-specific models to build a multilingual captioning system. We propose a very simple technique to build a single unified model across languages, using artificial tokens to control the language, making the captioning system more compact. We evaluate our approach on generating English and Japanese captions, and show that a typical neural captioning architecture is capable of learning a single model that can switch between two different languages.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2504.20091cs.CV공통 태그 Caption Generation공식 코드 · Papers with Code

VideoMultiAgents: A Multi-Agent Framework for Video Question Answering

비디오 질문 응답(Video Question Answering, VQA)은 본질적으로 시각적, 시간적, 언어적 단서를 통합하여 비디오 콘텐츠에 대한 더 깊은 이해를 달성하는 다중 모달 추론에 의존합니다. 그러나 기존의 많은 방법들은 프레임 수준의 캡션을 단일 모델에 입력하는 방식에 의존하여 시간적 및 상호작용적 맥락을 적절히 포착하기 어렵습니다. 이러한 한계를 해결하기 위해, 우리는 비디오 멀티 에이전트(VideoMultiAgents)라는 프레임워크를 소개합니다. 이 프레임워크는 비전, 장면 그래프 분석, 텍스트 처리를 위한 전문화된 에이전트를 통합하여 보완적인 다중 모달 추론을 활용하여 비디오 이해를 향상시킵니다. 우리의 접근 방식은 또한 주어진 쿼리와 직접적으로 관련된 객체, 행동 및 시간적 전환을 강조하는 캡션을 생성하는 질문 유도 캡션 생성으로 보완되어 답변 정확성을 향상시킵니다. 실험 결과, 우리의 방법이 Intent-QA에서 79.0% (+6.2% 이전 SOTA 대비), EgoSchema 하위 집합에서 75.4% (+3.4%), NExT-QA에서 79.6% (+0.4%)의 최첨단 성능을 달성함을 보여줍니다. 소스 코드는 https://github.com/PanasonicConnect/VideoMultiAgents에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.