arXiv:2012.04925

Towards Annotation-Free Evaluation of Cross-Lingual Image Captioning

Aozhu Chen, Xinyi Huang, Hailan Lin, Xirong Li

제출 2020-12-09

원문 초록

Cross-lingual image captioning, with its ability to caption an unlabeled image in a target language other than English, is an emerging topic in the multimedia field. In order to save the precious human resource from re-writing reference sentences per target language, in this paper we make a brave attempt towards annotation-free evaluation of cross-lingual image captioning. Depending on whether we assume the availability of English references, two scenarios are investigated. For the first scenario with the references available, we propose two metrics, i.e., WMDRel and CLinRel. WMDRel measures the semantic relevance between a model-generated caption and machine translation of an English reference using their Word Mover's Distance. By projecting both captions into a deep visual feature space, CLinRel is a visual-oriented cross-lingual relevance measure. As for the second scenario, which has zero reference and is thus more challenging, we propose CMedRel to compute a cross-media relevance between the generated caption and the image content, in the same visual feature space as used by CLinRel. The promising results show high potential of the new metrics for evaluation with no need of references in the target language.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.06457v1cs.CV공통 태그 Machine Translation, Translation, Image Captioning

Andha-Dhun: 힌디어 오디오 설명에 대한 첫 번째 고찰

Andha-Dhun: A First Look at Audio Descriptions in Hindi

오디오 설명(AD)은 시청각 미디어의 음성 공백 동안 시각 장애 및 저시력(BLV) 시청자를 위해 시각적 콘텐츠를 내레이션합니다. 영화와 TV 프로그램에서 AD에 대한 모멘텀이 높아지고 있으며, 인도 중앙 영화 인증 위원회(CBFC)의 의무화 규정으로 인해 영어 이외의 언어로 AD를 확장할 필요성이 생겼습니다. 그러나 현재 어떤 인도 언어에 대해서도 AD를 생성한 연구가 존재하지 않습니다. 이 격차를 해소하기 위해, 우리는 힌디어 AD에 대한 최초의 체계적 연구를 제시하며 데이터, 생성, 평가 등의 측면에 기여합니다. 우리는 8편의 장편 영화에서 수집된 인간 저작 힌디어 AD의 첫 번째 데이터셋인 Andha-Dhun을 소개합니다. 힌디어 AD를 생성하기 위한 두 가지 접근 방식을 탐색합니다: (i) 영어 밀집 비디오 설명에서 직접 생성하는 방식과 (ii) 영어 AD를 힌디어로 번역하는 방식입니다. 우리는 유창성과 품질을 각각 평가하기 위해 퍼플렉서티와 LLM-as-a-judge 지표를 사용하여 두 접근 방식을 평가합니다. 또한 영어와 힌디어 인간 저작 AD가 모두 존재하는 영화를 분석한 결과, 단순 번역은 원본 힌디어 AD에 비해 인공적인 요소를 도입하고 다양성을 좁힌다는 것을 발견했습니다. 직접 기계 번역은 문화적 참조를 적절히 변환하지 못하는 반면, 인간이 번역한 AD는 더 나은 결과를 보이지만 여전히 부족합니다. 우리의 연구 결과는 힌디어 AD의 목적이 인도 BLV 시청자를 위한 접근성에 있으며, 이를 위해서는 원본에 대한 엄격한 충실성보다 시청자를 위한 콘텐츠 적응이 더 중요하다는 점을 강조합니다.

arXiv:2607.00848v4cs.CL공통 태그 Machine Translation, Translation

MetaHOPE: MT 및 LLM 번역 오류 분석을 위한 은유 지향 평가 프레임워크

MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors

본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.

arXiv:2609.26347v2cs.CL공통 태그 Machine Translation, Translation

TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크

TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling

전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.