From Show to Tell: A Survey on Deep Learning-based Image Captioning
원문 초록
Connecting Vision and Language plays an essential role in Generative Intelligence. For this reason, large research efforts have been devoted to image captioning, i.e. describing images with syntactically and semantically meaningful sentences. Starting from 2015 the task has generally been addressed with pipelines composed of a visual encoder and a language model for text generation. During these years, both components have evolved considerably through the exploitation of object regions, attributes, the introduction of multi-modal connections, fully-attentive approaches, and BERT-like early-fusion strategies. However, regardless of the impressive results, research in image captioning has not reached a conclusive answer yet. This work aims at providing a comprehensive overview of image captioning approaches, from visual encoding and text generation to training strategies, datasets, and evaluation metrics. In this respect, we quantitatively compare many relevant state-of-the-art approaches to identify the most impactful technical innovations in architectures and training strategies. Moreover, many variants of the problem and its open challenges are discussed. The final goal of this work is to serve as a tool for understanding the existing literature and highlighting the future directions for a research area where Computer Vision and Natural Language Processing can find an optimal synergy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연속 확산 언어 모델의 설계 공간에 관한 연구
On the Design Space of Continuous Diffusion Language Models
연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.
멀티모달 대규모 언어 모델을 위한 의료 시각 인코더 사전학습
Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.
TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP
TextSLIP: Text Self-Supervised CLIP for Medical Report Generation
방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.
CommandLM: 데이터 기반 자차 행동 수준 서술자
CommandLM: Data driven behavior level descriptor for ego vehicles
자율주행 시스템이 실제 배치를 향해 나아가면서, 해석 가능한 행동 수준 의사결정은 안전성, 신뢰, 규제를 위해 필수적이다. 우리는 융합된 다중 센서 데이터로부터 자차에 대한 간결하고 사람이 읽을 수 있는 행동 설명을 생성하는 멀티모달 대규모 언어 모델(LLM)인 CommandLM을 제안한다. 우리 모델은 LiDAR와 다중 카메라 입력으로부터 시간적으로 융합된 조감도(bird's-eye view) 표현을 Q-Former 어댑터를 통해 양자화되고 LoRA 파인튜닝된 언어 모델에 연결하여 처리한다. CommandLM-nuScenes 데이터셋으로 학습된 CommandLM은 플래너 감독 및 안전성 감사에 적합한 의도 인식 가능한 해석 가능한 캡션을 생성한다. 실험은 강한 언어적 및 행동적 정렬(alignment)을 보여주며, CIDEr 0.67 및 BERT-F1 0.88을 달성하여 BLIP-2 기준선(CIDEr 0.52, BERT-F1 0.86)을 크게 능가한다. 인간 평가에서 생성된 설명의 58%가 정확하고 효율적이며 규칙을 준수하는 것으로 평가되어, 실제 세계에서의 타당성을 확인했다. 나머지 설명은 항상 가장 효율적이고 목표 지향적인 행동을 선택하지는 않을 수 있지만, CommandLM의 해석 가능한 출력은 하류 검증 시스템이 이러한 사례를 식별하고 수정할 수 있게 하여, 투명한 행동 감사를 위한 효과적인 도구가 된다. 이 결과는 멀티모달 융합과 언어 추론의 통합이 자율주행을 위한 효율적이고 투명한 행동 수준 이해를 가능하게 함을 보여준다. 우리는 코드와 데이터셋을 https://github.com/b-tok/CommandLM 에서 공개한다.
전립선 조직병리학을 위한 병리학자 어텐션 정렬 보고서 생성
Pathologist Attention-Aligned Report Generation for Prostate Histopathology
암 진단 중 병리학자의 시각적 어텐션 할당은 whole-slide image(WSI)에서 추출되는 정보를 결정적으로 형성하는 매우 선택적인 과정이다. 인간의 어텐션은 분류 및 분할(segmentation)과 같은 의료 영상 작업에 도움이 되며, 보고서 생성을 위해 진단적으로 유익한 영역을 식별하는 강력한 의미론적 단서가 된다. 본 논문에서는 병리학자 보고서 생성 모델의 학습에 인간 어텐션을 도입한다. 이를 위해 Gleason 패턴 등 임상적으로 관련 있는 5가지 구성 요소에 대해 병리학자의 구두 설명 및 커서 움직임과 동기화된 다중 스케일 뷰포트 궤적로 주석이 달린 121개의 전립선 WSI로 구성된 다중모달 인간-어텐션 데이터셋을 수집했다. 이 데이터셋을 사용하여, 이미지 패치에 대한 모델 어텐션을 병리학자 어텐션의 분포와 일치하도록 정규화하는 어텐션 정렬 손실로 두 개의 보고서 생성 모델을 파인튜닝한다. 전립선암 보고서 생성 및 시각적 질의응답(visual question answering)에서, 서로 다른 내부 어텐션 메커니즘(즉, 이미지 토큰이 언어 디코더에 통합되는 방식)을 갖는 두 모델을 사용하여 접근법을 평가한다. 실험 결과, NLP 기반 지표에서 평균 10.9%, 임상적으로 관련 있는 5가지 보고서 구성 요소 전반에 걸쳐 정확도에서 19.3%의 향상을 보였다. 또한 최소한의 계산 오버헤드로 추론 시 추출한 모델 어텐션 맵은 병리학자 어텐션과 더 밀접하게 정렬되어, 출력에 가장 큰 영향을 미치는 영역을 강조함으로써 생성된 보고서에 더 강력한 시각적 지원을 제공한다.
Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.