arXiv:2312.15162

Cycle-Consistency Learning for Captioning and Grounding

Ning Wang, Jiajun Deng, Mingbo Jia

제출 2023-12-23

원문 초록

We present that visual grounding and image captioning, which perform as two mutually inverse processes, can be bridged together for collaborative training by careful designs. By consolidating this idea, we introduce CyCo, a cyclic-consistent learning framework to ameliorate the independent training pipelines of visual grounding and image captioning. The proposed framework (1) allows the semi-weakly supervised training of visual grounding; (2) improves the performance of fully supervised visual grounding; (3) yields a general captioning model that can describe arbitrary image regions. Extensive experiments show that our fully supervised grounding model achieves state-of-the-art performance, and the semi-weakly supervised one also exhibits competitive performance compared to the fully supervised counterparts. Our image captioning model has the capability to freely describe image regions and meanwhile shows impressive performance on prevalent captioning benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27890v1cs.CV공통 태그 Image Captioning, Visual Grounding

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.28222v1cs.CV공통 태그 Image Captioning, Visual Grounding

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2603.09632v5cs.CV공통 태그 Image Captioning, Visual Grounding

X-GS: 3D 가우시안 스플래팅을 통한 인지 및 사고를 위한 확장 가능한 프레임워크

X-GS: An Extensible Framework for Perceiving and Thinking with 3D Gaussian Splatting

3D 가우시안 스플래팅(3DGS)은 새로운 뷰 합성(novel view synthesis)을 위한 강력한 기법으로 부상하였으며, 이후 수많은 공간 AI(spatial AI) 애플리케이션으로 확장되고 있습니다. 그러나 기존의 대부분의 3DGS 방법들은 특정 도메인에만 집중하며 고립되어 작동합니다. 본 논문에서는 공간 작업을 위한 VLM의 인지 모듈에 이처럼 기존에 고립되어 있던 3DGS 방법들을 통합하는 확장 가능한 프레임워크인 X-GS를 소개하며, 이는 $\textit{Perceiver}$와 $\textit{Thinker}$라는 두 가지 주요 구성 요소를 갖추고 있습니다. $\textit{Perceiver}$는 시맨틱 지식 증류(semantic distillation)를 동반한 온라인 3DGS 기반 SLAM을 수행하고, 카메라 포즈가 없는(unposed) 비디오 스트림으로부터 시맨틱 가우시안을 출력합니다. 또한 더 강력한 기하학적 사전 정보를 얻기 위해 최신 비전 파운데이션 모델을 활용하며, 시맨틱 지식 증류 효율성을 향상시키기 위한 세 가지 새로운 최적화(optimization) 기법을 소개합니다. $\textit{Thinker}$는 다양한 VLM을 이러한 시맨틱 가우시안과 연동하여 3D 시각적 그라운딩(visual grounding) 및 씬 캡셔닝(scene captioning)과 같은 공간 멀티모달 역량을 발현시킵니다. 다양한 벤치마크(benchmark)에 대한 실험 결과는 X-GS 프레임워크의 효율성과 새롭게 발현된 멀티모달 능력을 입증합니다.

arXiv:2609.23336v1cs.CV공통 태그 Image Captioning, Visual Grounding

MinCU: 이미지 쌍에서의 그라운딩 기반 미세 변화 이해를 위한 세밀한 벤치마크

MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs

거의 동일한 이미지 간의 세밀한 차이를 위치 특정하고 서술하는 것은 멀티모달 대규모 언어 모델(MLLM)에 중요하지만 아직 충분히 연구되지 않은 역량입니다. 기존 벤치마크는 대체로 충실한 서술과 물리적 위치 특정을 동시에 요구하지 않은 채, 의미론적 비교나 단일 이미지 그라운딩(grounding)을 개별적으로 평가합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 그라운딩 기반의 미세 변화 이해를 위한 벤치마크인 MinCU를 소개합니다. MinCU의 각 샘플은 객체 범주, 속성, 개수 또는 공간적 위치에서 단 하나의 원자적 변화만 나타나는 이미지 쌍으로 구성되며, 모델은 변화 서술, 변경된 영역의 위치 특정, 변경된 개체 식별 능력을 평가받습니다. 나아가 본 논문에서는 예측을 '생각-위치 특정-서술(Think-Locate-Describe)' 시퀀스로 분해하는 구조화된 자기회귀 방식인 Semantic-Guided Implicit Spatial Anchors(SG-ISA)를 제안합니다. SG-ISA는 먼저 변경된 개념에 대한 의미론적 단서를 예측한 후, 이산 공간 앵커를 암묵적 위치 특정 스캐폴드로 활용하며, 최종적으로 그라운딩 박스와 함께 변화 서술을 생성합니다. 실험 결과, 가장 강력한 폐쇄형 MLLM과 최근의 R1 스타일 추론 모델조차 MinCU에서 어려움을 겪으며, 대부분 정확한 서술과 그라운딩 박스를 동시에 생성하는 데 실패하는 것으로 나타났습니다. 이전 사고의 연쇄(Chain-of-Thought) 방식과 비교했을 때, SG-ISA를 통한 미세조정은 추론 토큰 오버헤드를 약 26% 줄이면서도 그라운딩 정확도와 서술 품질 모두에서 상당한 공동 향상을 이끌어냈습니다. 이러한 결과는 그라운딩 기반의 듀얼 이미지 이해에서 모델 규모에만 의존하는 것보다 암묵적인 중간 공간 인터페이스가 더 효과적일 수 있음을 시사합니다.

arXiv:2609.24075v1cs.CV공통 태그 Image Captioning, Visual Grounding

악조건 속 견고한 컴퓨터 비전을 위한 쌍으로 구성된 합성 건설 현장 이미지 데이터셋

A paired synthetic construction-site image dataset for robust computer vision under adverse conditions

건설 모니터링에 사용되는 컴퓨터 비전(CV) 시스템은 불리한 환경 및 시각적 조건에서 성능이 저하될 수 있으나, 기존 건설 이미지 데이터셋에서는 이러한 조건이 여전히 과소 대표되고 있습니다. 본 논문에서는 3,109개의 실제 소스 장면에서 파생된 34,199개의 이미지를 포함하는 쌍(paired) 형태의 합성 건설 현장 이미지 데이터셋인 ConSynth-X를 제시합니다. 이 데이터셋은 강수, 안개, 야간 조명, 야간 악천후, 소형 객체 또는 원거리 뷰를 아우르는 11개의 조건별 하위 집합으로 구성됩니다. 각 합성 이미지는 해당하는 소스 장면에 연결되어 있어 환경 및 시각적 조건 전반에 걸친 통제된 비교를 가능하게 합니다. ConSynth-X는 소스 기반 주석, 생성 메타데이터, 출처(provenance) 정보 및 이미지 품질 지표를 포함하여 객체 검출(object detection), 이미지 캡셔닝, 시각적 그라운딩(visual grounding), 시각적 질의응답(VQA)을 지원합니다. 기술적 검증(validation)에서는 임베딩(embedding) 기반 유사도 및 분포 분석을 사용하여 소스-합성 충실도와 실제 악조건 이미지와의 정렬(alignment)을 평가합니다. 이 데이터셋은 까다로운 현장 조건에서 건설 비전 및 비전-언어 모델의 강건성을 평가하고 개선하기 위한 체계적인 자원을 제공합니다.

arXiv:2607.21595v1cs.CV공통 태그 Image Captioning, Visual Grounding

암시적·명시적 기하를 갖춘 3D 인식 VLM

3D-Aware VLMs with Implicit and Explicit Geometries

비록 빠른 진전이 있었지만, 2D 시각 입력으로 구축된 대부분의 기존 비전-언어 모델(VLM)은 미세한 공간 이해와 추론을 요구하는 다양한 3D 작업을 처리할 때 종종 어려움을 겪는다. 이 격차를 해소하기 위해, 우리는 RGB 비디오로부터 학습된 암시적·명시적 3D 기하를 모두 갖추어 VLM의 3D 공간 인식을 향상시키는 통합 프레임워크인 VLM-IE3D를 제안한다. VLM-IE3D는 입력 비디오로부터 고수준 기하 사전지식(prior)을 포착하는 암시적 기하 토큰(Implicit Geometry Tokens, IGTs)과, 재구성된 3D 속성으로부터 상세한 기하 구조를 인코딩하는 보완적 명시적 기하 토큰(Explicit Geometry Tokens, EGTs)을 도입한다. 더 나아가 VLM-IE3D는 두 유형의 기하 표현을 2D 시각 단서와 효과적으로 융합하는 3D 인식 어댑터를 포함한다. 이 RGB 전용 설계는 추가 3D 입력 없이도 미세한 공간 이해와 추론을 위한 강한 3D 귀납 편향(inductive bias)을 주입한다. 광범위한 실험 결과, VLM-IE3D는 3D 비디오 검출, 3D 시각적 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 다양한 3D 작업에서 일관되게 우수한 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/Vegetebird/VLM-IE3D에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.