Fast Image Caption Generation with Position Alignment
원문 초록
Recent neural network models for image captioning usually employ an encoder-decoder architecture, where the decoder adopts a recursive sequence decoding way. However, such autoregressive decoding may result in sequential error accumulation and slow generation which limit the applications in practice. Non-autoregressive (NA) decoding has been proposed to cover these issues but suffers from language quality problem due to the indirect modeling of the target distribution. Towards that end, we propose an improved NA prediction framework to accelerate image captioning. Our decoding part consists of a position alignment to order the words that describe the content detected in the given image, and a fine non-autoregressive decoder to generate elegant descriptions. Furthermore, we introduce an inference strategy that regards position information as a latent variable to guide the further sentence generation. The Experimental results on public datasets show that our proposed model achieves better performance compared to general NA captioning models, while achieves comparable performance as autoregressive image captioning models with a significant speedup.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Representation Learning through Multimodal Attention and Time-Sync Comments for Affective Video Content Analysis
Global Object Proposals for Improving Multi-Sentence Video Descriptions
인간과 비전-언어 모델 간의 어텐션 정렬
Attention Alignment Between Humans and Vision-Language Models
시각 지각은 하향식 목표와 상향식 감각 기제에 의존합니다. 비전-언어 모델은 이 두 가지를 모두 구현하므로, 각 구성 요소를 우리가 어디를 보는지를 유도하는 요인에 대한 분리 가능한 가설로 간주할 수 있습니다. 우리는 두 가지 작업(일반적 묘사 및 사회적 캡셔닝) 동안 200개의 이미지에서 기록된 인간 시선 고정 히트맵과 6개의 비전-언어 모델에서 나온 공간 어텐션 맵을 비교했습니다. 이 6개의 모델은 CNN 대비 ViT 인코더와 LSTM 대비 트랜스포머 디코더를 교차한 2x2 요인 설계와 Molmo 7B-D 및 Qwen3.5 9B를 포괄했습니다. 디코더와 인코더 아키텍처 모두 정렬에 영향을 미쳤지만, 디코더 선택이 더 지배적임을 발견했습니다. LSTM 대 트랜스포머 디코더는 정렬을 40~50퍼센트 포인트 증가시켰습니다(인간 노이즈 천장의 80~87% 대비 40~59%). 대조적으로, CNN 대 ViT 인코더는 디코더 계열에 따라 5~20포인트의 2차적인 이점을 기여했으며, 전체적으로 CNN-LSTM이 가장 높은 정렬을 보였습니다(85~87%). 정렬 이점에도 불구하고 LSTM 디코더 어텐션 맵은 공간적으로 확산되어 있었고 작업 차별화가 최소였습니다. 반면 정렬이 가장 낮은 ViT-트랜스포머는 가장 날카로운 공간 집중과 가장 강한 작업 차별화를 보였습니다. 반공간 무시(hemispatial-neglect) 시뮬레이션은 어텐션 제거가 트랜스포머 디코더보다 LSTM 디코더에 더 큰 영향을 미친다는 것을 확인했습니다. TRIBE 시뮬레이션 합성 신경 반응을 사용한 탐색적 확장에서 시선 정렬과 신경 관련성은 분리되었습니다: 시선 정렬이 낮음에도 불구하고 CNN-트랜스포머 어텐션 맵은 합성 뇌 활동을 더 잘 예측했으며, 어텐션 맵은 초기 시각 피질을 가장 잘 예측했습니다. 종합하면, 하향식 및 상향식 구성 요소는 행동 및 합성 신경 데이터에서 예측하는 내용에 있어 상충 관계에 있습니다.
RoVE: 상대 위치 의존적 값 경로를 위한 회전형 값 임베딩 어텐션
RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways
회전형 위치 임베딩(RoPE)은 어텐션 점수를 위치에 상대적으로 만들지만, 값 경로(value pathway)는 위치를 인식하지 못하게 둡니다. 즉, 값 토큰이 전달하는 메시지는 쿼리로부터의 거리에 관계없이 동일합니다. 본 논문에서는 RoVE를 제안합니다. RoVE는 키(key)와 동시에 값을 회전시켜 위치에 민감하게 만드는 매개변수가 없는 수정 방식이며, RoPE 어텐션을 어텐션 합성곱(attentive convolution)으로 변환함을 보여줍니다. 이 새로운 관점은 컴퓨터 비전, 로봇공학, 현대 대규모 언어 모델(LLM) 아키텍처에 걸쳐 동일한 연산에 대한 여러 독립적인 정형화를 통합합니다. 학습된 124M 및 354M GPT-2 모델은 퓨샷 문맥 내 학습(ICL), 분포 외 퍼플렉서티, 긴 문맥 검색에서 RoPE 대비 일관된 경험적 이득을 보여주었으며, 특히 장거리 집계가 필요한 작업에서 가장 명확한 개선 효과를 나타냈습니다.
A Novel Lightweight Transformer with Edge-Aware Fusion for Remote Sensing Image Captioning
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.