Non-Autoregressive Image Captioning with Counterfactuals-Critical Multi-Agent Learning
원문 초록
Most image captioning models are autoregressive, i.e. they generate each word by conditioning on previously generated words, which leads to heavy latency during inference. Recently, non-autoregressive decoding has been proposed in machine translation to speed up the inference time by generating all words in parallel. Typically, these models use the word-level cross-entropy loss to optimize each word independently. However, such a learning process fails to consider the sentence-level consistency, thus resulting in inferior generation quality of these non-autoregressive models. In this paper, we propose a Non-Autoregressive Image Captioning (NAIC) model with a novel training paradigm: Counterfactuals-critical Multi-Agent Learning (CMAL). CMAL formulates NAIC as a multi-agent reinforcement learning system where positions in the target sequence are viewed as agents that learn to cooperatively maximize a sentence-level reward. Besides, we propose to utilize massive unlabeled images to boost captioning performance. Extensive experiments on MSCOCO image captioning benchmark show that our NAIC model achieves a performance comparable to state-of-the-art autoregressive models, while brings 13.9x decoding speedup.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Andha-Dhun: 힌디어 오디오 설명에 대한 첫 번째 고찰
Andha-Dhun: A First Look at Audio Descriptions in Hindi
오디오 설명(AD)은 시청각 미디어의 음성 공백 동안 시각 장애 및 저시력(BLV) 시청자를 위해 시각적 콘텐츠를 내레이션합니다. 영화와 TV 프로그램에서 AD에 대한 모멘텀이 높아지고 있으며, 인도 중앙 영화 인증 위원회(CBFC)의 의무화 규정으로 인해 영어 이외의 언어로 AD를 확장할 필요성이 생겼습니다. 그러나 현재 어떤 인도 언어에 대해서도 AD를 생성한 연구가 존재하지 않습니다. 이 격차를 해소하기 위해, 우리는 힌디어 AD에 대한 최초의 체계적 연구를 제시하며 데이터, 생성, 평가 등의 측면에 기여합니다. 우리는 8편의 장편 영화에서 수집된 인간 저작 힌디어 AD의 첫 번째 데이터셋인 Andha-Dhun을 소개합니다. 힌디어 AD를 생성하기 위한 두 가지 접근 방식을 탐색합니다: (i) 영어 밀집 비디오 설명에서 직접 생성하는 방식과 (ii) 영어 AD를 힌디어로 번역하는 방식입니다. 우리는 유창성과 품질을 각각 평가하기 위해 퍼플렉서티와 LLM-as-a-judge 지표를 사용하여 두 접근 방식을 평가합니다. 또한 영어와 힌디어 인간 저작 AD가 모두 존재하는 영화를 분석한 결과, 단순 번역은 원본 힌디어 AD에 비해 인공적인 요소를 도입하고 다양성을 좁힌다는 것을 발견했습니다. 직접 기계 번역은 문화적 참조를 적절히 변환하지 못하는 반면, 인간이 번역한 AD는 더 나은 결과를 보이지만 여전히 부족합니다. 우리의 연구 결과는 힌디어 AD의 목적이 인도 BLV 시청자를 위한 접근성에 있으며, 이를 위해서는 원본에 대한 엄격한 충실성보다 시청자를 위한 콘텐츠 적응이 더 중요하다는 점을 강조합니다.
The Grammar Does the Work: Functional vs. Lexical Dependency Length Minimization Across Universal Dependencies
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
CoPiT: 전통 문자 기반 이중 문자 체계 저자원 몽골어를 위한 인지적 피벗 번역
CoPiT: Cognitive Pivot Translation for Digraphic Low-Resource Mongolian in the Traditional Script
ReSCUE: 분절되지 않은 장문 동시 수어 번역을 위한 문장 확정 기반 재번역 기법
ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.
MetaHOPE: MT 및 LLM 번역 오류 분석을 위한 은유 지향 평가 프레임워크
MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors
본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.