arXiv:2307.16686

Guiding Image Captioning Models Toward More Specific Captions

Simon Kornblith, Lala Li, ZiRui Wang, Thao Nguyen

제출 2023-07-31

원문 초록

Image captioning is conventionally formulated as the task of generating captions for images that match the distribution of reference image-caption pairs. However, reference captions in standard captioning datasets are short and may not uniquely identify the images they describe. These problems are further exacerbated when models are trained directly on image-alt text pairs collected from the internet. In this work, we show that it is possible to generate more specific captions with minimal changes to the training process. We implement classifier-free guidance for an autoregressive captioning model by fine-tuning it to estimate both conditional and unconditional distributions over captions. The guidance scale applied at decoding controls a trade-off between maximizing $p(\mathrm{caption}|\mathrm{image})$ and $p(\mathrm{image}|\mathrm{caption})$. Compared to standard greedy decoding, decoding with a guidance scale of 2 substantially improves reference-free metrics such as CLIPScore (0.808 vs. 0.775) and caption$\to$image retrieval performance in the CLIP embedding space (recall@1 44.6% vs. 26.5%), but worsens standard reference-based captioning metrics (e.g., CIDEr 78.6 vs 126.1). We further explore the use of language models to guide the decoding process, obtaining small improvements over the Pareto frontier of reference-free vs. reference-based captioning metrics that arises from classifier-free guidance, and substantially improving the quality of captions generated from a model trained only on minimally curated web data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.10706v3cs.CV공통 태그 Image Captioning, Image Retrieval

MMArt: 시각 예술 이해를 위한 다중 관점 멀티모달 데이터셋

MMArt: A Multi-Perspective Multimodal Dataset for Visual Art Understanding

최근의 비전-언어 모델(vision-language model)은 인상적인 범용 시각적 이해 능력을 보여주지만, 예술 해석에 있어서는 여전히 피상적인 수준에 머물러 있다. 이러한 모델들은 표면적인 내용은 설명하지만 형식적 분석, 근거 있는 역사적 해석, 또는 정서적 특성화에는 어려움을 겪는다. 우리는 이것이 모델의 한계일 뿐만 아니라 데이터셋의 한계이기도 하다고 주장한다. 기존의 예술 데이터셋은 단일 관점 자원으로, 동일한 작품에 대해 서사적(narrative), 형식적(formal), 정서적(emotional), 역사적(historical) 관점을 동시에 제공하는 데이터셋은 존재하지 않는다. 우리는 74,234점의 WikiArt 회화로 구성된 대규모 데이터셋인 MMArt를 소개한다. 각 작품에는 독립적으로 주석이 달린 네 가지 관점과 이를 통합한 캡션이 함께 제공되며, 이는 특화된 비전-언어 모델 또는 사람에 의한 주석(annotation)을 통해 생성되고 상호 보완적인 품질 평가를 통해 검증되었다. 두 가지 상보성(complementarity) 분석을 통해 각 관점이 실제로 서로 다른 정보를 담고 있음을 입증하였다. 생성적(generative) 분석 결과, 형식적 분석 설명이 구성적 스타일을 가장 잘 보존하며, 역사적 설명은 재구성된 이미지에서 강한 정서적 신호를 담고 있는 것으로 나타났다. 판별적(discriminative) 검색 분석은 과제 간 비대칭성을 드러낸다. 서사적 설명은 검색 성능을 견인하는 반면(R@1 = 44.0%), 재구성에서는 가장 강력했던 형식적 설명은 검색 규모에서는 거의 판별력을 갖지 못한다(R@1 = 7.8%). Leave-one-out 분석은 나아가 역사적 설명이 두 과제 모두에서 가장 대체하기 어려운 관점임을 확인시켜 준다. 두 분석을 종합하면, 단일 관점만으로는 모든 과제에 충분하지 않음이 입증되며, 이는 MMArt의 다중 관점(multi-perspective) 설계를 직접적으로 뒷받침한다. 데이터셋, 코드, 추가 정보는 https://shuaiwang97.github.io/MMArt/ 에서 확인할 수 있다.

arXiv:2512.11982v2astro-ph.IM공통 태그 Image Captioning, Image Retrieval

AI 생성 캡션을 활용한 1억 개 이상 은하 이미지의 의미론적 검색

Semantic search for 100M+ galaxy images using AI-generated captions

시간이 오래 걸리는 수동 라벨링 작업을 통해 과학적으로 흥미로운 현상을 찾는 것은 망원경이 생성한 수십억 개의 은하 이미지를 탐색하는 우리의 능력을 심각하게 제한합니다. 본 연구에서는 완전히 라벨링되지 않은 이미지 데이터로부터 의미론적 검색 엔진을 구축하는 파이프라인을 개발했습니다. 우리의 방법은 은하 이미지에 대한 설명을 생성하기 위해 비전-언어 모델(VLMs)을 활용하고, 이후 사전학습된 천문학 파운데이션 모델을 해당 임베딩된 설명과 대조적으로 정렬하여 대규모로 검색 가능한 임베딩을 생성합니다. 우리는 현재 VLM이 직접적인 이미지 유사도 검색보다 성능이 우수한 의미론적 검색 모델을 학습시키기에 충분한 정보를 담은 설명을 제공함을 확인했습니다. AION-Search 모델은 희귀 사례에 대한 의도적인 선별 없이 무작위로 선정된 이미지로 학습되었음에도 불구하고, 희귀 현상 발견에 있어 최첨단의 제로샷(zero-shot) 성능을 달성했습니다. 또한, 상위 100개 결과 내에서 가장 도전적인 대상에 대한 재현율을 거의 두 배로 향상시키는 VLM 기반 재순위 매기기(re-ranking) 방법을 제안합니다. AION-Search는 1억 개 이상의 은하 이미지에 대한 유연한 의미론적 검색을 최초로 가능하게 했으며, 이를 통해 36개의 새로운 은하계 외 항성류 후보 식별을 포함하여 기존에는 불가능했던 검색을 통한 발견을 이끌어냈습니다. 더 나아가, 본 연구는 대규모 라벨링되지 않은 과학 이미지 아카이브를 의미론적으로 검색 가능하게 만드는 방법론을 제시하여, 지구 관측부터 현미경 관찰에 이르는 다양한 분야에서 데이터 탐색 능력을 확장합니다. 코드, 데이터, 앱은 https://github.com/NolanKoblischke/AION-Search 에서 공개적으로 제공됩니다.

arXiv:2606.07032v1cs.CV공통 태그 Image Captioning, Image Retrieval

전에 본 적 없는: 일관된 비디오 출처 데이터셋으로 진정한 제로샷 구성 이미지 검색 벤치마킹

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

제로샷 구성 이미지 검색(Zero-Shot Composed Image Retrieval, ZS-CIR)은 학습 샘플 없이 참조 이미지와 상대적 캡션으로 구성된 쿼리를 기반으로 목표 이미지를 검색하는 것을 목표로 한다. 기존 ZS-CIR 데이터셋은 노이즈가 많은 이미지 출처로 인해 참조 이미지와 목표 이미지 사이에 완전한 무관성이 발생하는 문제가 있으며, CLIP과 같은 모델이 학습에 사용한 공개 이미지 데이터셋을 활용하기 때문에 진정한 제로샷 시나리오를 달성하지 못한다. 이러한 과제를 해결하기 위해, 우리는 ZS-CIR을 위한 새로운 벤치마크인 ZeroSight를 제안한다. 이 벤치마크는 비디오에서 추출한 일관된 참조-목표 쌍으로 구성된 데이터셋, 데이터 구축 파이프라인, 그리고 다수의 양성 및 음성 목표 이미지의 순위를 고려하는 평가 방법을 포함한다. 단일 비디오에서 프레임을 추출하고 LLM 보조 방법으로 상대적 캡션을 생성함으로써 시각적·의미적으로 일관된 참조-목표 쌍을 보장한다. 진정한 제로샷 시나리오를 보장하기 위해 2022년 3월 31일 이후에 공개된 비디오 데이터를 사용하여 CLIP의 사전학습 데이터에 포함되지 않았음을 보장한다. 또한 학습 없이 MLLM 기반 방법인 SC4CIR(Symmetric Consistency for CIR)을 제안하며, 이는 3가지 대칭 일관성 검사를 통해 어려운 음성 목표를 효과적으로 식별할 수 있다. 이 방법은 플러그 앤 플레이 방식으로 다양한 CIR 방법과 원활하게 통합되며 성능을 크게 향상시킨다. 27개 방법에 대한 실험 결과, 현재 ZS-CIR 데이터셋과 평가 지표가 검색 성능을 부풀려 CIR 방법의 능력을 과장하고 있음을 보여준다. 우리의 벤치마크와 모델은 https://github.com/sotayang/ZeroSight 에서 접근할 수 있다.

arXiv:2505.16839v4cs.CV공통 태그 Image Captioning공식 코드 · Papers with Code

LaViDa: 멀티모달 이해를 위한 대규모 디퓨전 언어 모델

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.