UNISON: Unpaired Cross-lingual Image Captioning
원문 초록
Image captioning has emerged as an interesting research field in recent years due to its broad application scenarios. The traditional paradigm of image captioning relies on paired image-caption datasets to train the model in a supervised manner. However, creating such paired datasets for every target language is prohibitively expensive, which hinders the extensibility of captioning technology and deprives a large part of the world population of its benefit. In this work, we present a novel unpaired cross-lingual method to generate image captions without relying on any caption corpus in the source or the target language. Specifically, our method consists of two phases: (i) a cross-lingual auto-encoding process, which utilizing a sentence parallel (bitext) corpus to learn the mapping from the source to the target language in the scene graph encoding space and decode sentences in the target language, and (ii) a cross-modal unsupervised feature mapping, which seeks to map the encoded scene graph features from image modality to language modality. We verify the effectiveness of our proposed method on the Chinese image caption generation task. The comparisons against several existing methods demonstrate the effectiveness of our approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Andha-Dhun: 힌디어 오디오 설명에 대한 첫 번째 고찰
Andha-Dhun: A First Look at Audio Descriptions in Hindi
오디오 설명(AD)은 시청각 미디어의 음성 공백 동안 시각 장애 및 저시력(BLV) 시청자를 위해 시각적 콘텐츠를 내레이션합니다. 영화와 TV 프로그램에서 AD에 대한 모멘텀이 높아지고 있으며, 인도 중앙 영화 인증 위원회(CBFC)의 의무화 규정으로 인해 영어 이외의 언어로 AD를 확장할 필요성이 생겼습니다. 그러나 현재 어떤 인도 언어에 대해서도 AD를 생성한 연구가 존재하지 않습니다. 이 격차를 해소하기 위해, 우리는 힌디어 AD에 대한 최초의 체계적 연구를 제시하며 데이터, 생성, 평가 등의 측면에 기여합니다. 우리는 8편의 장편 영화에서 수집된 인간 저작 힌디어 AD의 첫 번째 데이터셋인 Andha-Dhun을 소개합니다. 힌디어 AD를 생성하기 위한 두 가지 접근 방식을 탐색합니다: (i) 영어 밀집 비디오 설명에서 직접 생성하는 방식과 (ii) 영어 AD를 힌디어로 번역하는 방식입니다. 우리는 유창성과 품질을 각각 평가하기 위해 퍼플렉서티와 LLM-as-a-judge 지표를 사용하여 두 접근 방식을 평가합니다. 또한 영어와 힌디어 인간 저작 AD가 모두 존재하는 영화를 분석한 결과, 단순 번역은 원본 힌디어 AD에 비해 인공적인 요소를 도입하고 다양성을 좁힌다는 것을 발견했습니다. 직접 기계 번역은 문화적 참조를 적절히 변환하지 못하는 반면, 인간이 번역한 AD는 더 나은 결과를 보이지만 여전히 부족합니다. 우리의 연구 결과는 힌디어 AD의 목적이 인도 BLV 시청자를 위한 접근성에 있으며, 이를 위해서는 원본에 대한 엄격한 충실성보다 시청자를 위한 콘텐츠 적응이 더 중요하다는 점을 강조합니다.
The Grammar Does the Work: Functional vs. Lexical Dependency Length Minimization Across Universal Dependencies
Global Object Proposals for Improving Multi-Sentence Video Descriptions
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
CoPiT: 전통 문자 기반 이중 문자 체계 저자원 몽골어를 위한 인지적 피벗 번역
CoPiT: Cognitive Pivot Translation for Digraphic Low-Resource Mongolian in the Traditional Script
ReSCUE: 분절되지 않은 장문 동시 수어 번역을 위한 문장 확정 기반 재번역 기법
ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.