arXiv:2203.03195

Unpaired Image Captioning by Image-level Weakly-Supervised Visual Concept Recognition

Peipei Zhu, Xiao Wang, Yong Luo, Zhenglong Sun, Wei-Shi Zheng, YaoWei Wang, Changwen Chen

제출 2022-03-07

원문 초록

The goal of unpaired image captioning (UIC) is to describe images without using image-caption pairs in the training phase. Although challenging, we except the task can be accomplished by leveraging a training set of images aligned with visual concepts. Most existing studies use off-the-shelf algorithms to obtain the visual concepts because the Bounding Box (BBox) labels or relationship-triplet labels used for the training are expensive to acquire. In order to resolve the problem in expensive annotations, we propose a novel approach to achieve cost-effective UIC. Specifically, we adopt image-level labels for the optimization of the UIC model in a weakly-supervised manner. For each image, we assume that only the image-level labels are available without specific locations and numbers. The image-level labels are utilized to train a weakly-supervised object recognition model to extract object information (e.g., instance) in an image, and the extracted instances are adopted to infer the relationships among different objects based on an enhanced graph neural network (GNN). The proposed approach achieves comparable or even better performance compared with previous methods without the expensive cost of annotations. Furthermore, we design an unrecognized object (UnO) loss combined with a visual concept reward to improve the alignment of the inferred object and relationship information with the images. It can effectively alleviate the issue encountered by existing UIC models about generating sentences with nonexistent objects. To the best of our knowledge, this is the first attempt to solve the problem of Weakly-Supervised visual concept recognition for UIC (WS-UIC) based only on image-level labels. Extensive experiments have been carried out to demonstrate that the proposed WS-UIC model achieves inspiring results on the COCO dataset while significantly reducing the cost of labeling.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14149v1cs.AI공통 태그 Triplet, Graph Neural Network

지식 그래프 그라운딩을 통한 소형 언어 모델 추론 능력 향상

Enhancing Small Language Models Reasoning through Knowledge Graph Grounding

대규모 언어 모델(LLM)은 제로샷(zero-shot) 추론에서 벤치마크를 세웠지만, 배포 비용이 과도하고 환경 부담도 큽니다. 소형 언어 모델(SLM)은 지속 가능한 대안이지만, 복잡한 다중 홉(multi-hop) 논리적 그라운딩(grounding)이 요구되는 과제에서는 오류에 취약합니다. 우리는 CLUTRR kinship 벤치마크를 사용하여 Gemma 3 (1B, 4B) 및 Llama 3.2 (3B)와 같은 SLM의 추론 능력을 향상시키기 위한 뉴로-심볼릭(neuro-symbolic) 에이전트 프레임워크를 조사합니다. 우리 접근법은 SLM을 두 가지 특화된 도구 호출을 활용하는 미니멀리스트 에이전트로 변환합니다: extract_facts는 심볼릭 triplet 추출용이고, get_hint는 Relational Graph Convolutional Network(RGCN)를 통한 전문가 추론용입니다. 우리는 정답 triplet을 사용하는 Oracle 시나리오와 자체 추출 지식에 의존하는 Realistic 시나리오라는 두 가지 구성에서 이 모델들을 평가합니다. 결과는 RGCN 파생 힌트가 스토리만 사용하는 baseline 대비 1.5~2배 성능 향상을 제공하지만, 시스템이 추출 병목(extraction bottleneck)과 순차적 연역적 취약성(sequential deductive fragility)에 의해 제약받으며, 초기 추출 오류가 다중 홉 체인 전체에서 누적된다는 것을 보여줍니다. 또한 우리는 특정 아키텍처에서 전문가 힌트가 존재함에도 불구하고 노이즈가 있는 자체 생성 사실이 성능을 저하시키는 "distraction effect"를 확인합니다. 본 연구는 저자원 에이전트 시스템에서 심볼릭 그라운딩의 과제를 규명하고, 뉴로-심볼릭 에이전트 파이프라인에서 반복적 검증을 위한 로드맵을 제시합니다.

arXiv:2609.07780v3cs.CV공통 태그 Image Captioning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.