A Frustratingly Simple Approach for End-to-End Image Captioning
원문 초록
Image Captioning is a fundamental task to join vision and language, concerning about cross-modal understanding and text generation. Recent years witness the emerging attention on image captioning. Most of existing works follow a traditional two-stage training paradigm. Before training the captioning models, an extra object detector is utilized to recognize the objects in the image at first. However, they require sizeable datasets with fine-grained object annotation for training the object detector, which is a daunting task. In addition, the errors of the object detectors are easy to propagate to the following captioning models, degenerating models' performance. To alleviate such defects, we propose a frustratingly simple but highly effective end-to-end image captioning framework, Visual Conditioned GPT (VC-GPT), by connecting the pre-trained visual encoder (CLIP-ViT) and language decoder (GPT2). Different from the vanilla connection method that directly inserts the cross-attention modules into GPT2, we come up with a self-ensemble cross-modal fusion mechanism that comprehensively considers both the single- and cross-modal knowledge. As a result, we do not need extra object detectors for model training. Experimental results conducted on three popular image captioning benchmarks (MSCOCO, Flickr30k and NoCaps) demonstrate that our VC-GPT achieves either the best or the second-best performance across all evaluation metrics over extensive baseline systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
Apollo Restore: 고대 그리스어 텍스트의 Fill-in-the-Middle 복원에 최적화된 역사적 그리스어용 기반 대규모 언어 모델
Apollo Restore: A Foundation LLM for Historical Greek Optimized for Fill-in-the-Middle Restoration of Ancient Greek Texts
본 논문에서는 단편적인 고대 그리스어 텍스트의 결손(lacunae, 물리적 공백)을 복원하기 위한 240억 개 매개변수(parameter) 대규모 언어 모델(LLM)인 Apollo Restore를 소개합니다. Fill-in-the-middle 목표로 Mistral Small을 파인튜닝(fine-tuning)한 Apollo Restore는 결손 길이에 대한 오라클(oracle) 지식 없이도 누락된 구간을 재구성합니다. 우리가 아는 한, 이는 역사적 그리스어를 위한 최초의 대규모 디코더 모델이자 고대 지중해 언어를 통틀어 최초의 모델입니다. 선행 연구와 동일하게 최대 10자의 짧은 결손에 대해 평가했을 때, Apollo Restore는 문서 파피루스, 문학 파피루스, 석문 비문 결손의 80.6%/54.6%/61.0%에서 올바른 복원 결과를 상위 20개 후보 안에 올렸으며, 발표된 가장 강력한 모델들을 $1.6\times$/$2.6\times$/$1.4\times$ 능가했습니다. 그러나 기존 평가 프로토콜은 사소하게 짧은 결손 쪽으로 쏠린 바이어스(bias)로 인해 점수를 부풀립니다. 길이 균형 메트릭에서 발표된 가장 강력한 모델 대비 Apollo Restore의 우위는 $2.3\times$/$3.5\times$/$1.6\times$로 증가하며, 부정확한 길이 힌트가 주어지더라도 성능이 완만하게 저하됩니다. 블라인드 연구에서 파피루스학, 비문학, 문헌학 전문가 20명은 가장 강력한 기준선(baseline)보다 Apollo Restore를 강하게 선호했으며, 77%의 사례에서 그 성능이 인간의 복원만큼 우수하다고 판단했습니다. 또한 Apollo Restore는 서기 79년 베수비오 화산 폭발로 탄화되어 Apollo Restore의 학습(training) 데이터가 구축된 이후 디지털 방식으로 펼쳐지고 편집된 파피루스 두루마리인 PHerc. 1667의 발표된 판독 결과를 개선합니다. Apollo Restore는 오스트리아 과학 아카데미가 주도하는 역사적 언어 및 필사본 특화 LLM 구축을 위한 Decoding Antiquity 이니셔티브의 결과물입니다.
사전학습된 LLM을 고충실도 연속 텍스트 오토인코더로 재활용하기
Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders
다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.
오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.
트랜스포머 언어 모델의 순차 연산 증류
Distilling Sequential Computation in Transformer Language Models
트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.
병렬 Drafter가 병렬 추측 디코딩을 만날 때
When Parallel Drafter Meets Parallel Speculative Decoding
DSpark 스타일의 병렬 drafter는 추측 디코딩(speculative decoding)을 매우 효과적으로 만들었지만, draft 단계는 여전히 매 라운드 임계 경로(critical path)에서 직렬로 실행된다. 병렬 추측 디코딩(PSD)은 drafting과 검증(verification)을 겹치게 하지만, 기존 방법은 수용된 접두 문맥(prefix)과 보너스 토큰(bonus token)을 미리 추측해야 하며, 잘못된 추측은 전체 배치를 직렬 drafting으로 되돌린다. 우리는 효과적인 병렬 drafter를 재사용하면서도 매 라운드마다 백본–검증 겹침을 보장해 이러한 확률적 fallback을 완전히 없애는 PSD 프레임워크인 DPara를 제안한다. target이 검증하는 동안 DPara의 diffusion 백본은 보너스를 정하지 않은 채 모든 acceptance boundary에 대한 draft representation을 미리 계산하고, 경량 자기회귀(autoregressive) head가 드러난 검증 결과와 대응하는 사전 계산 representation을 결합해 다음 라운드의 draft 토큰을 거의 즉시 내보낸다—지배적인 백본 forward를 검증과 완전히 병렬화하고 무시할 수 있는 head 비용만 직렬로 남긴다. Qwen3-8B와 Qwen3-14B에 대해 수학·코딩·채팅 벤치마크 7개에서의 실험은 DPara가 자기회귀 디코딩 대비 평균 $3.21\times$ 및 $3.52\times$ 속도 향상을 달성하며, 가장 강한 직렬·병렬 추측 디코딩 baseline을 모두 능가함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.