Fusion Models for Improved Visual Captioning
원문 초록
Visual captioning aims to generate textual descriptions given images or videos. Traditionally, image captioning models are trained on human annotated datasets such as Flickr30k and MS-COCO, which are limited in size and diversity. This limitation hinders the generalization capabilities of these models while also rendering them liable to making mistakes. Language models can, however, be trained on vast amounts of freely available unlabelled data and have recently emerged as successful language encoders and coherent text generators. Meanwhile, several unimodal and multimodal fusion techniques have been proven to work well for natural language generation and automatic speech recognition. Building on these recent developments, and with the aim of improving the quality of generated captions, the contribution of our work in this paper is two-fold: First, we propose a generic multimodal model fusion framework for caption generation as well as emendation where we utilize different fusion strategies to integrate a pretrained Auxiliary Language Model (AuxLM) within the traditional encoder-decoder visual captioning frameworks. Next, we employ the same fusion strategies to integrate a pretrained Masked Language Model (MLM), namely BERT, with a visual captioning model, viz. Show, Attend, and Tell, for emending both syntactic and semantic errors in captions. Our caption emendation experiments on three benchmark image captioning datasets, viz. Flickr8k, Flickr30k, and MSCOCO, show improvements over the baseline, indicating the usefulness of our proposed multimodal fusion strategies. Further, we perform a preliminary qualitative analysis on the emended captions and identify error categories based on the type of corrections.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
고정 이산 확산 언어 모델 기반 오디오 네이티브 음성 인식
Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model
자동 음성 인식은 토큰을 한 번에 하나씩 출력하는 자기회귀(autoregressive) 디코더가 주류를 이룬다. 우리는 대신 이산 확산 언어 모델이 음성을 전사할 수 있는지, 즉 적은 수의 디노이징(denoising) 단계에 걸쳐 전체 전사문을 병렬로 정제할 수 있는지를 묻는다. 우리는 DiffusionGemma를 위한 오디오 네이티브 인터페이스를 학습한다. DiffusionGemma는 최근 확산 언어 모델에서 흔한 흡수 마스크(absorbing-mask) 방식 대신 균일한 무작위 토큰 이산 확산으로 텍스트를 생성하는 260억 파라미터 규모의 전문가 혼합(MoE) 모델이다. 고정된 Whisper 인코더가 음향 특징을 제공하고, 경량 프로젝터가 이를 모델 임베딩 공간으로 매핑하며, 저랭크(low-rank) 어댑터가 고정된 백본이 새로운 모달리티에 어텐션할 수 있게 한다. 약 4,200만 개의 파라미터가 학습되며, 이는 백본의 0.16%에 해당한다. 우리는 자연스러운 학습 목적 함수가 오디오를 그라운딩하지 못한다는 것을 발견한다. 그 이유는 그래디언트가 이미 프로젝터를 배제한 어텐션을 통해서만 프로젝터에 도달하기 때문이다. 고정된 출력 헤드를 통해 적용된 연결주 시간 분류(connectionist temporal classification, CTC) 손실이 이 교착 상태를 해소한다. 그 결과 모델은 LibriSpeech test-clean에서 6.6%의 단어 오류율(word error rate, WER)을 달성하고, 발화 길이와 무관하게 대략 8번의 병렬 단계로 전사하며, 6개 언어로 학습된 단일 어댑터를 사용한다. 여기서는 영어, 힌디어, 북경어(만다린)에 대해 이를 평가한다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Building a Public Domain Voice Database for Odia
Automatic Speech Recognition in German: A Detailed Error Analysis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.