Image Captioning at Will: A Versatile Scheme for Effectively Injecting Sentiments into Image Descriptions
원문 초록
Automatic image captioning has recently approached human-level performance due to the latest advances in computer vision and natural language understanding. However, most of the current models can only generate plain factual descriptions about the content of a given image. However, for human beings, image caption writing is quite flexible and diverse, where additional language dimensions, such as emotion, humor and language styles, are often incorporated to produce diverse, emotional, or appealing captions. In particular, we are interested in generating sentiment-conveying image descriptions, which has received little attention. The main challenge is how to effectively inject sentiments into the generated captions without altering the semantic matching between the visual content and the generated descriptions. In this work, we propose two different models, which employ different schemes for injecting sentiments into image captions. Compared with the few existing approaches, the proposed models are much simpler and yet more effective. The experimental results show that our model outperform the state-of-the-art models in generating sentimental (i.e., sentiment-bearing) image captions. In addition, we can also easily manipulate the model by assigning different sentiments to the testing image to generate captions with the corresponding sentiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Vision Language Action Models in Robotic Manipulation: A Systematic Review
A Survey on Vision-Language-Action Models for Autonomous Driving
ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
캡션 병목 모델
Caption Bottleneck Models
개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.
언어 모델의 희소 특징을 이용한 언어에 대한 뇌 반응 해석
Interpreting Brain Responses to Language with Sparse Features from Language Models
인지신경과학의 핵심 목표는 인간의 언어 피질이 표상하는 특징을 규명하는 것이다. 인공 언어 모델(LM)은 이 과제를 다루는 강력한 도구로 부상했지만, 생물학적 표상과 인공 표상을 연관짓는 연구는 하나의 블랙박스를 다른 블랙박스와 연관짓는다는 비판을 자주 받는다. 본 연구는 밀집 LM 은닉 상태를 계층적으로 조직된 희소 오토인코더(SAE) 특징으로 대체하고 서프라이절(surprisal)을 예측변수로 명시적으로 포함하는 인코딩 프레임워크인 증강 희소 인코딩 모델(Augmented Sparse Encoding Models)을 소개한다. 이 접근법을 사용하여 (i) 신경 반응에 대한 해석을 도출하고, (ii) 모델-뇌 정렬이 LM 표상의 주된 변이를 반영하는지 아니면 특이적 변이를 반영하는지 검증한다. 언어적으로 다양한 200개 문장을 듣는 여덟 명의 참가자로부터 얻은 고자장 7T fMRI 데이터셋을 사용하여, 먼저 처리 난이도와 의미 추상성에 조율된 복셀 집단에 대한 기존 해석을 재현함으로써 모델링 프레임워크를 검증한다. 이어서 이전에 규명되지 않았으나 신뢰할 수 있는 복셀 집단을 해석하여, 이 집단이 사람과 관련된 내용에 조율되어 있음을 발견한다. 다음으로, 전두-측두 인간 언어 네트워크가 구성 영역 전반에서 공통된 특징 집합으로 예측됨을 보이지만, 전두 영역은 LM 기반 특징이 없어도 서프라이절만으로 비교적 잘 설명됨을 확인한다. 마지막으로, 뇌 반응이 LM 표상에 인코딩된 가장 일반적인 정보를 포착하는 경향이 있는 특징으로 가장 잘 설명됨을 보이며, 이는 뇌와 LM의 언어 표상 사이에 자명하지 않은 대응이 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.