Every picture tells a story: Image-grounded controllable stylistic story generation
원문 초록
Generating a short story out of an image is arduous. Unlike image captioning, story generation from an image poses multiple challenges: preserving the story coherence, appropriately assessing the quality of the story, steering the generated story into a certain style, and addressing the scarcity of image-story pair reference datasets limiting supervision during training. In this work, we introduce Plug-and-Play Story Teller (PPST) and improve image-to-story generation by: 1) alleviating the data scarcity problem by incorporating large pre-trained models, namely CLIP and GPT-2, to facilitate a fluent image-to-text generation with minimal supervision, and 2) enabling a more style-relevant generation by incorporating stylistic adapters to control the story generation. We conduct image-to-story generation experiments with non-styled, romance-styled, and action-styled PPST approaches and compare our generated stories with those of previous work over three aspects, i.e., story coherence, image-story relevance, and style fitness, using both automatic and human evaluation. The results show that PPST improves story coherence and has better image-story relevance, but has yet to be adequately stylistic.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티모달 대규모 언어 모델을 위한 의료 시각 인코더 사전학습
Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.
TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP
TextSLIP: Text Self-Supervised CLIP for Medical Report Generation
방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.
CommandLM: 데이터 기반 자차 행동 수준 서술자
CommandLM: Data driven behavior level descriptor for ego vehicles
자율주행 시스템이 실제 배치를 향해 나아가면서, 해석 가능한 행동 수준 의사결정은 안전성, 신뢰, 규제를 위해 필수적이다. 우리는 융합된 다중 센서 데이터로부터 자차에 대한 간결하고 사람이 읽을 수 있는 행동 설명을 생성하는 멀티모달 대규모 언어 모델(LLM)인 CommandLM을 제안한다. 우리 모델은 LiDAR와 다중 카메라 입력으로부터 시간적으로 융합된 조감도(bird's-eye view) 표현을 Q-Former 어댑터를 통해 양자화되고 LoRA 파인튜닝된 언어 모델에 연결하여 처리한다. CommandLM-nuScenes 데이터셋으로 학습된 CommandLM은 플래너 감독 및 안전성 감사에 적합한 의도 인식 가능한 해석 가능한 캡션을 생성한다. 실험은 강한 언어적 및 행동적 정렬(alignment)을 보여주며, CIDEr 0.67 및 BERT-F1 0.88을 달성하여 BLIP-2 기준선(CIDEr 0.52, BERT-F1 0.86)을 크게 능가한다. 인간 평가에서 생성된 설명의 58%가 정확하고 효율적이며 규칙을 준수하는 것으로 평가되어, 실제 세계에서의 타당성을 확인했다. 나머지 설명은 항상 가장 효율적이고 목표 지향적인 행동을 선택하지는 않을 수 있지만, CommandLM의 해석 가능한 출력은 하류 검증 시스템이 이러한 사례를 식별하고 수정할 수 있게 하여, 투명한 행동 감사를 위한 효과적인 도구가 된다. 이 결과는 멀티모달 융합과 언어 추론의 통합이 자율주행을 위한 효율적이고 투명한 행동 수준 이해를 가능하게 함을 보여준다. 우리는 코드와 데이터셋을 https://github.com/b-tok/CommandLM 에서 공개한다.
전립선 조직병리학을 위한 병리학자 어텐션 정렬 보고서 생성
Pathologist Attention-Aligned Report Generation for Prostate Histopathology
암 진단 중 병리학자의 시각적 어텐션 할당은 whole-slide image(WSI)에서 추출되는 정보를 결정적으로 형성하는 매우 선택적인 과정이다. 인간의 어텐션은 분류 및 분할(segmentation)과 같은 의료 영상 작업에 도움이 되며, 보고서 생성을 위해 진단적으로 유익한 영역을 식별하는 강력한 의미론적 단서가 된다. 본 논문에서는 병리학자 보고서 생성 모델의 학습에 인간 어텐션을 도입한다. 이를 위해 Gleason 패턴 등 임상적으로 관련 있는 5가지 구성 요소에 대해 병리학자의 구두 설명 및 커서 움직임과 동기화된 다중 스케일 뷰포트 궤적로 주석이 달린 121개의 전립선 WSI로 구성된 다중모달 인간-어텐션 데이터셋을 수집했다. 이 데이터셋을 사용하여, 이미지 패치에 대한 모델 어텐션을 병리학자 어텐션의 분포와 일치하도록 정규화하는 어텐션 정렬 손실로 두 개의 보고서 생성 모델을 파인튜닝한다. 전립선암 보고서 생성 및 시각적 질의응답(visual question answering)에서, 서로 다른 내부 어텐션 메커니즘(즉, 이미지 토큰이 언어 디코더에 통합되는 방식)을 갖는 두 모델을 사용하여 접근법을 평가한다. 실험 결과, NLP 기반 지표에서 평균 10.9%, 임상적으로 관련 있는 5가지 보고서 구성 요소 전반에 걸쳐 정확도에서 19.3%의 향상을 보였다. 또한 최소한의 계산 오버헤드로 추론 시 추출한 모델 어텐션 맵은 병리학자 어텐션과 더 밀접하게 정렬되어, 출력에 가장 큰 영향을 미치는 영역을 강조함으로써 생성된 보고서에 더 강력한 시각적 지원을 제공한다.
Representation Learning through Multimodal Attention and Time-Sync Comments for Affective Video Content Analysis
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.