arXiv:2305.05496

Exploiting Pseudo Image Captions for Multimodal Summarization

Chaoya Jiang, Rui Xie, Wei Ye, Jinan Sun, Shikun Zhang

제출 2023-05-09

원문 초록

Cross-modal contrastive learning in vision language pretraining (VLP) faces the challenge of (partial) false negatives. In this paper, we study this problem from the perspective of Mutual Information (MI) optimization. It is common sense that InfoNCE loss used in contrastive learning will maximize the lower bound of MI between anchors and their positives, while we theoretically prove that MI involving negatives also matters when noises commonly exist. Guided by a more general lower bound form for optimization, we propose a contrastive learning strategy regulated by progressively refined cross-modal similarity, to more accurately optimize MI between an image/text anchor and its negative texts/images instead of improperly minimizing it. Our method performs competitively on four downstream cross-modal tasks and systematically balances the beneficial and harmful effects of (partial) false negative samples under theoretical guidance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23717v1cs.CV공통 태그 Image Captioning, Contrastive Learning

BindCLIP: 구성적 비전-언어 스코어링을 위한 하나의 균형 잡힌 커플링

BindCLIP: One Balanced Coupling For Compositional Vision Language Scoring

전역 비전-언어 유사도(global vision-language similarity)는 이미지와 캡션을 하나의 벡터로 압축하여 의미는 보존하지만, 어떤 단어가 어떤 영역에 대응하는지 또는 그 영역들이 어떻게 배치되어 있는지는 보존하지 못한다. 그 결과 모델은 모든 단어와 객체를 인식하면서도 구성적으로 잘못된 캡션을 선호할 수 있다. 우리는 고정된(frozen) 인코더가 이러한 연관 구조를 이미 보유하고 있으며, 따라서 문제는 사전학습된 유사도 옆에 이를 재구축하는 것이 아니라 그것을 읽어내는 것이라고 주장한다. 우리는 하나의 잠재 객체 위에 구축된 쌍별(pairwise) 스코어러인 BindCLIP을 제안한다: 이는 후보 캡션들과 여러 시각적 깊이(visual depth)를 하나의 계획(plan)에 배치하는 균형 잡힌 토큰-패치-깊이 최적수송(optimal-transport) 커플링이다. 의미적, 개체적, 순서적, 공간적 증거는 이 상태의 에너지로 읽히며, 후보들을 교환하면 계획이 치환되어 점수가 정확히 반대칭(antisymmetric)이 된다. 커플링 내부의 기하학적 정제(geometric refinement)는 후보들과 시각적 깊이가 뒷받침하지 않는 이동(move)을 수축시킨다. 과제 레이블, 파서(parser), 관계 목록(relation inventory), 검출기(detector)는 전혀 사용되지 않는다. 하나의 체크포인트와 하나의 추론 경로만으로 고정된 전역 CLIP 대비 공식 What'sUp, ARO, SugarCrepe 벤치마크에서 성능이 향상되며, 관계(relation) 분할에서 가장 강한 전이(transfer) 성능을 보인다. 대조군(control) 실험은 패치 접근이나 캡션 길이를 이용한 지름길(shortcut) 가능성을 배제하며, 추론 시점의 병변(lesion) 실험은 공간적 배치 정보가 커플링에 국지화되어 있음을 보여준다.

arXiv:2607.21970v1cs.CV공통 태그 Image Captioning, Contrastive Learning

TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.

arXiv:2607.06552v1cs.CV공통 태그 Image Captioning, Contrastive Learning

MonoIR-RS: CLIP 및 VLM 적응을 통한 적외선 원격 탐사 비전-언어 학습

MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation

적외선 원격 탐사 영상은 RGB 영상에서는 종종 보이지 않는 강도 구조, 객체-배경 대비, 조명 불변 단서를 포착한다. 그러나 대부분의 원격 탐사 비전-언어 자원과 모델은 가시 대역 시맨틱에 집중하여 적외선 비전-언어 이해는 충분히 탐구되지 않은 상태로 남아 있다. 우리는 MonoIR-RS를 소개한다. 이는 IR 인식 데이터 구축과 CLIP 방식의 대조 적응 및 VLM 지시 미세조정을 결합한 대규모 적외선 원격 탐사 비전-언어 데이터셋 및 벤치마크이다. FusionRS와 동일한 소스 풀 및 분할로 구축된 MonoIR-RS는 적외선 이미지를 모델 대면 모달리티로 유지하며, 60만 장의 합성 적외선 이미지와 59,032개의 IR 인식 캡션 레코드를 생성한다. 모델 실험은 이 유지된 언어 감독 서브셋을 사용하며, 해당 캡션은 RGB 외관 대신 그레이스케일 구조와 적외선 스타일 대비를 중심으로 감독을 재작성한다. AVIID 벤치마크에서 합성 적외선 영상이 그레이스케일 변환보다 실제 열화상에 현저히 더 가깝다는 것을 보여준다. 5개의 CLIP 백본과 6개의 VLM 백본을 파인튜닝하고 제로샷 동작과 비교하여 보정한다. IR 인식 적응은 CLIP 평균 재현율을 최대 12.8포인트 향상시키고 VLM 캡셔닝의 IR 단서 커버리지를 100%로 높이면서 잔여 RGB 색상 누출을 거의 0으로 줄인다. RGB-IR 이중 모달 학습으로부터 적외선 모달리티를 분리함으로써, MonoIR-RS는 적외선 원격 탐사 증거를 언어와 정렬하기 위한 통제되고 재현 가능한 테스트베드를 제공한다.

arXiv:2607.04311v3cs.CV공통 태그 Contrastive Learning

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2609.07780v3cs.CV공통 태그 Image Captioning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2607.05268v5cs.CV공통 태그 Contrastive Learning

기하 구조가 실제로 작동하는가? 쌍곡 비전-언어 모델의 위계에 대한 작동점 감사

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

쌍곡 비전-언어 모델은 추상성을 기하학적으로 인코딩하도록 설계되어 있다. 일반적인 개념은 원점 근처에, 구체적인 개념은 더 먼 곳에 놓이며, 함의 원뿔(entailment cone)은 방향성 있는 순서를 나타낸다. 본 연구는 학습된 MERU, HyCoCLIP, PHyCLIP 모델이 이러한 메커니즘을 실제로 사용하는지 묻는다. 공개된 일곱 개의 체크포인트와 이에 대응하는 처음부터 학습한 개입 모델을 감사한다. 감사한 수렴 체크포인트는 모두 무차원 반경 $u=\sqrt{c}\rho$에서 거의 유클리드적인 상태에 머문다. 이미지 측에서 관측된 최댓값은 $0.37$로, 국소 계량 왜곡이 $10\%$에 이르는 $u\approx0.84$에 크게 못 미친다. 곡률 하한을 해제하면 곡률과 노름은 변하지만 이 영역은 바뀌지 않으며, 하위 과제 성능 변화는 일관되지 않고 대체로 미미하다. 학습된 함의 원뿔은 포화되었거나 거의 포화되어 있어, 낮은 위반율은 학습된 순서가 아니라 지나치게 넓은 원뿔에서 비롯될 수 있다. 사전 등록된 의미 순회는 가지 내부의 약한 순서는 검출하지만 전체 위계를 읽어 내는 작동 가능한 판독은 검출하지 못한다. 셔플 대조 검정은 공개된 체크포인트에서 쌍별 고유의 반경 순서를 검출하지 못하며, 대응하는 세 개의 ViT-B 시드 전체에서 일관된 양성 결과도 없다. 이 비검출은 민감도에 의해 제한된다. 이 진단은 셔플 대조 초과분이 약 13.5 pp일 때에야 검정력 $80\%$에 도달하는 반면, 공개 모델 중 가장 큰 격차는 약 5 pp이다. 우리는 이를 낮은 곡률 지름길로 추적한다. 곡률을 낮추면 순서를 학습하지 않고도 함의 원뿔이 넓어져 위반이 억제된다. 조사한 궤적에서 그래디언트 분해는 붕괴 중 곡률을 낮추는 지배적 압력이 함의 항임을 보여 준다. 그러나 함의를 제거해도 곡률은 수축하므로 이 지름길이 유일한 원인은 아니다. 우리의 진단 아래에서 감사한 정식화들은 작동하는 반경 기반 또는 원뿔 기반 위계를 입증하지 못한다. 우리는 이 감사를 향후 위계 주장을 평가하기 위한 다섯 개 수치의 기하 보고서로 정리한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.