arXiv:2010.01999

A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning

Ruchika Chavhan, Biplab Banerjee, Xiao Xiang Zhu, Subhasis Chaudhuri

제출 2020-10-05

원문 초록

We deal with the problem of generating textual captions from optical remote sensing (RS) images using the notion of deep reinforcement learning. Due to the high inter-class similarity in reference sentences describing remote sensing data, jointly encoding the sentences and images encourages prediction of captions that are semantically more precise than the ground truth in many cases. To this end, we introduce an Actor Dual-Critic training strategy where a second critic model is deployed in the form of an encoder-decoder RNN to encode the latent information corresponding to the original and generated captions. While all actor-critic methods use an actor to predict sentences for an image and a critic to provide rewards, our proposed encoder-decoder RNN guarantees high-level comprehension of images by sentence-to-image translation. We observe that the proposed model generates sentences on the test data highly similar to the ground truth and is successful in generating even better captions in many critical cases. Extensive experiments on the benchmark Remote Sensing Image Captioning Dataset (RSICD) and the UCM-captions dataset confirm the superiority of the proposed approach in comparison to the previous state-of-the-art where we obtain a gain of sharp increments in both the ROUGE-L and CIDEr measures.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27248v2cs.LG공통 태그 Decoder, Image Captioning

사전학습된 LLM을 고충실도 연속 텍스트 오토인코더로 재활용하기

Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders

다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.

arXiv:2610.03445v1cs.CV공통 태그 Decoder, Image Captioning

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

arXiv:2609.24095v1cs.CV공통 태그 Decoder, Sentence

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.