arXiv:1906.06632

Image Captioning with Integrated Bottom-Up and Multi-level Residual Top-Down Attention for Game Scene Understanding

Jian Zheng, Sudha Krishnamurthy, Ruxin Chen, Min-Hung Chen, Zhenhao Ge, Xiaohua LI

제출 2019-06-16

원문 초록

Image captioning has attracted considerable attention in recent years. However, little work has been done for game image captioning which has some unique characteristics and requirements. In this work we propose a novel game image captioning model which integrates bottom-up attention with a new multi-level residual top-down attention mechanism. Firstly, a lower-level residual top-down attention network is added to the Faster R-CNN based bottom-up attention network to address the problem that the latter may lose important spatial information when extracting regional features. Secondly, an upper-level residual top-down attention network is implemented in the caption generation network to better fuse the extracted regional features for subsequent caption prediction. We create two game datasets to evaluate the proposed model. Extensive experiments show that our proposed model outperforms existing baseline models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27890v1cs.CV공통 태그 Image Captioning, Scene Understanding

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.28222v1cs.CV공통 태그 Image Captioning, Scene Understanding

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2609.23336v1cs.CV공통 태그 Image Captioning, Scene Understanding

MinCU: 이미지 쌍에서의 그라운딩 기반 미세 변화 이해를 위한 세밀한 벤치마크

MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs

거의 동일한 이미지 간의 세밀한 차이를 위치 특정하고 서술하는 것은 멀티모달 대규모 언어 모델(MLLM)에 중요하지만 아직 충분히 연구되지 않은 역량입니다. 기존 벤치마크는 대체로 충실한 서술과 물리적 위치 특정을 동시에 요구하지 않은 채, 의미론적 비교나 단일 이미지 그라운딩(grounding)을 개별적으로 평가합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 그라운딩 기반의 미세 변화 이해를 위한 벤치마크인 MinCU를 소개합니다. MinCU의 각 샘플은 객체 범주, 속성, 개수 또는 공간적 위치에서 단 하나의 원자적 변화만 나타나는 이미지 쌍으로 구성되며, 모델은 변화 서술, 변경된 영역의 위치 특정, 변경된 개체 식별 능력을 평가받습니다. 나아가 본 논문에서는 예측을 '생각-위치 특정-서술(Think-Locate-Describe)' 시퀀스로 분해하는 구조화된 자기회귀 방식인 Semantic-Guided Implicit Spatial Anchors(SG-ISA)를 제안합니다. SG-ISA는 먼저 변경된 개념에 대한 의미론적 단서를 예측한 후, 이산 공간 앵커를 암묵적 위치 특정 스캐폴드로 활용하며, 최종적으로 그라운딩 박스와 함께 변화 서술을 생성합니다. 실험 결과, 가장 강력한 폐쇄형 MLLM과 최근의 R1 스타일 추론 모델조차 MinCU에서 어려움을 겪으며, 대부분 정확한 서술과 그라운딩 박스를 동시에 생성하는 데 실패하는 것으로 나타났습니다. 이전 사고의 연쇄(Chain-of-Thought) 방식과 비교했을 때, SG-ISA를 통한 미세조정은 추론 토큰 오버헤드를 약 26% 줄이면서도 그라운딩 정확도와 서술 품질 모두에서 상당한 공동 향상을 이끌어냈습니다. 이러한 결과는 그라운딩 기반의 듀얼 이미지 이해에서 모델 규모에만 의존하는 것보다 암묵적인 중간 공간 인터페이스가 더 효과적일 수 있음을 시사합니다.

arXiv:2607.22078v1cs.CV공통 태그 Image Captioning, Scene Understanding

CommandLM: 데이터 기반 자차 행동 수준 서술자

CommandLM: Data driven behavior level descriptor for ego vehicles

자율주행 시스템이 실제 배치를 향해 나아가면서, 해석 가능한 행동 수준 의사결정은 안전성, 신뢰, 규제를 위해 필수적이다. 우리는 융합된 다중 센서 데이터로부터 자차에 대한 간결하고 사람이 읽을 수 있는 행동 설명을 생성하는 멀티모달 대규모 언어 모델(LLM)인 CommandLM을 제안한다. 우리 모델은 LiDAR와 다중 카메라 입력으로부터 시간적으로 융합된 조감도(bird's-eye view) 표현을 Q-Former 어댑터를 통해 양자화되고 LoRA 파인튜닝된 언어 모델에 연결하여 처리한다. CommandLM-nuScenes 데이터셋으로 학습된 CommandLM은 플래너 감독 및 안전성 감사에 적합한 의도 인식 가능한 해석 가능한 캡션을 생성한다. 실험은 강한 언어적 및 행동적 정렬(alignment)을 보여주며, CIDEr 0.67 및 BERT-F1 0.88을 달성하여 BLIP-2 기준선(CIDEr 0.52, BERT-F1 0.86)을 크게 능가한다. 인간 평가에서 생성된 설명의 58%가 정확하고 효율적이며 규칙을 준수하는 것으로 평가되어, 실제 세계에서의 타당성을 확인했다. 나머지 설명은 항상 가장 효율적이고 목표 지향적인 행동을 선택하지는 않을 수 있지만, CommandLM의 해석 가능한 출력은 하류 검증 시스템이 이러한 사례를 식별하고 수정할 수 있게 하여, 투명한 행동 감사를 위한 효과적인 도구가 된다. 이 결과는 멀티모달 융합과 언어 추론의 통합이 자율주행을 위한 효율적이고 투명한 행동 수준 이해를 가능하게 함을 보여준다. 우리는 코드와 데이터셋을 https://github.com/b-tok/CommandLM 에서 공개한다.

arXiv:2607.21595v1cs.CV공통 태그 Image Captioning, Scene Understanding

암시적·명시적 기하를 갖춘 3D 인식 VLM

3D-Aware VLMs with Implicit and Explicit Geometries

비록 빠른 진전이 있었지만, 2D 시각 입력으로 구축된 대부분의 기존 비전-언어 모델(VLM)은 미세한 공간 이해와 추론을 요구하는 다양한 3D 작업을 처리할 때 종종 어려움을 겪는다. 이 격차를 해소하기 위해, 우리는 RGB 비디오로부터 학습된 암시적·명시적 3D 기하를 모두 갖추어 VLM의 3D 공간 인식을 향상시키는 통합 프레임워크인 VLM-IE3D를 제안한다. VLM-IE3D는 입력 비디오로부터 고수준 기하 사전지식(prior)을 포착하는 암시적 기하 토큰(Implicit Geometry Tokens, IGTs)과, 재구성된 3D 속성으로부터 상세한 기하 구조를 인코딩하는 보완적 명시적 기하 토큰(Explicit Geometry Tokens, EGTs)을 도입한다. 더 나아가 VLM-IE3D는 두 유형의 기하 표현을 2D 시각 단서와 효과적으로 융합하는 3D 인식 어댑터를 포함한다. 이 RGB 전용 설계는 추가 3D 입력 없이도 미세한 공간 이해와 추론을 위한 강한 3D 귀납 편향(inductive bias)을 주입한다. 광범위한 실험 결과, VLM-IE3D는 3D 비디오 검출, 3D 시각적 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 다양한 3D 작업에서 일관되게 우수한 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/Vegetebird/VLM-IE3D에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.