arXiv:1905.07841

Multimodal Transformer with Multi-View Visual Representation for Image Captioning

Jun Yu, Jing Li, Zhou Yu, Qingming Huang

제출 2019-05-20

원문 초록

Image captioning aims to automatically generate a natural language description of a given image, and most state-of-the-art models have adopted an encoder-decoder framework. The framework consists of a convolution neural network (CNN)-based image encoder that extracts region-based visual features from the input image, and an recurrent neural network (RNN)-based caption decoder that generates the output caption words based on the visual features with the attention mechanism. Despite the success of existing studies, current methods only model the co-attention that characterizes the inter-modal interactions while neglecting the self-attention that characterizes the intra-modal interactions. Inspired by the success of the Transformer model in machine translation, here we extend it to a Multimodal Transformer (MT) model for image captioning. Compared to existing image captioning approaches, the MT model simultaneously captures intra- and inter-modal interactions in a unified attention block. Due to the in-depth modular composition of such attention blocks, the MT model can perform complex multimodal reasoning and output accurate captions. Moreover, to further improve the image captioning performance, multi-view visual features are seamlessly introduced into the MT model. We quantitatively and qualitatively evaluate our approach using the benchmark MSCOCO image captioning dataset and conduct extensive ablation studies to investigate the reasons behind its effectiveness. The experimental results show that our method significantly outperforms the previous state-of-the-art methods. With an ensemble of seven models, our solution ranks the 1st place on the real-time leaderboard of the MSCOCO image captioning challenge at the time of the writing of this paper.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27248v2cs.LG공통 태그 Decoder, Image Captioning

사전학습된 LLM을 고충실도 연속 텍스트 오토인코더로 재활용하기

Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders

다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.

arXiv:2610.03445v1cs.CV공통 태그 Decoder, Image Captioning

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

arXiv:2609.28117v1cs.CL공통 태그 Machine Translation, Decoder

문맥 인식 기계 번역에서 그래디언트 기반 어트리뷰션을 통한 어텐션 헤드 분석의 확장

Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation

본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.

arXiv:2607.22300v1cs.CL공통 태그 Machine Translation, Decoder

교차언어 전이와 LoRA 어댑터 병합을 통한 저자원 아랍 문자 언어의 생의학 기계 번역

Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging

우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.

arXiv:2607.13158v1cs.CL공통 태그 Machine Translation, Decoder

동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.