토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.
의료 멀티모달 대규모 언어 모델(MLLM)은 기존 의료 시각 질의응답(MedVQA) 벤치마크에서 좋은 성능을 낼 수 있지만, 학습 데이터가 임상 진단과 맞지 않는 경우가 많다. 대부분의 지도는 고립된 이미지나 짧은 QA 쌍을 중심으로 구성되어, 두 가지 구조가 약하게 규정된다: 증거가 어떻게 결정으로 이어지는지, 그리고 동일 사례의 뷰, 시리즈, 모달리티, 환자 맥락이 어떻게 연결되는지. 본 논문은 증거 연계 다중 뷰 의료 영상 진단을 위한 부분적으로 의사 검증된 멀티모달 instruction 데이터셋인 MultiViewDx를 제안한다. MultiViewDx는 임상 사례를 지도 단위로 사용한다. 영상 검사와 환자 맥락을 연결하고, 이질적인 보고서를 증거 연계 워크플로(증거 -> 소견 -> 감별 논의 -> 진단)로 정규화하며, 통합 이미지-텍스트 리트리버로 instruction 합성을 출처가 뒷받침하는 증거에 한정한다. X-ray, CT, MRI, 초음파, 조직병리학 및 기타 임상 시각 소스를 포함한다. MultiViewDx-8B-AN을 파인튜닝하고 기존 MedVQA 벤치마크와 실제 사례 기반 진단 추론 모두에서 평가한다. 4개 MedVQA 벤치마크에서 비교 시스템 중 최고 평균 정확도(79.0%)를 달성하며, HuatuoGPT-Vision-34B(66.7%)와 Claude3-Opus(55.7%)를 능가한다. MedVQA를 넘어 JAMA Clinical Challenge 사례에서, 핵심 임상 요점, 진단 추론, 증거 그라운딩에 대한 의사 설계 루브릭 하에서 최고의 종합 평가를 받는다. 통제된 ablation과 임상의 평가는 사례 수준 다중 뷰 구성과 증거 연계 추론 목표가 모두 성능 향상에 기여함을 보여준다.
의료 분야 애플리케이션에서 비전-언어 모델(VLM)의 활용이 증가함에 따라, 겉보기에는 그럴듯하지만 실제로는 부정확한 결과를 생성하는 환각(hallucination)과 관련된 큰 과제가 대두되고 있습니다. 이러한 환각은 임상적 의사결정을 위태롭게 하여 잠재적으로 진단과 치료에 악영향을 미칠 수 있습니다. 본 연구에서는 의료 VLM의 환각을 평가하고 완화하기 위해 특별히 설계된 대규모 벤치마크인 MedHallTune을 제안합니다. 10만 개 이상의 이미지와 100만 개 이상의 인스트럭션 쌍으로 구성된 MedHallTune은 환각 및 비환각 샘플을 모두 포함하며, 각각 정답(ground-truth) 주석이 제공됩니다. 우리는 MedHallTune을 사용하여 현재의 의료 및 범용 VLM에 대한 종합적인 평가를 수행하고 임상 정확도, 관련성, 세부 수준, 위험 수준 등의 주요 지표 전반에서 성능을 평가했습니다. 실험 결과에 따르면 MedHallTune을 통한 미세조정(fine-tuning)은 환각을 관리하는 기존 여러 모델의 능력을 성공적으로 향상시키고 다운스트림 시각적 질의응답(VQA) 태스크에서의 제로샷 성능을 높여, 실제 의료 애플리케이션에서 더 높은 신뢰성을 갖추도록 지원함을 보여줍니다. 본 연구는 보다 신뢰할 수 있는 VLM 개발에 기여합니다. 코드와 데이터셋은 \href{https://github.com/russellyq/MedHallTune}{MedHallTune}에서 제공될 예정입니다.
밈은 민감한 아이디어를 공유하는 암호 같은 도구 역할을 하며, 올바르게 해석하려면 종종 맥락적 지식이 필요하다. 이로 인해 다중모달 밈 검열이 어려워지는데, 기존 연구는 미묘한 혐오 카테고리를 위한 고품질 데이터셋이 부족하거나 저품질 소셜 미디어 시각 자료에 의존하기 때문이다. 본 연구에서는 영어 밈으로 구성된 두 가지 새로운 다중모달 혐오 표현 데이터셋인 MHS와 MHS-Con을 구축하였으며, 이들은 각각 일반적 시나리오와 혼동(confounding) 시나리오에서 세분화된 혐오적 추상화를 포착한다. 이 데이터셋들을 여러 경쟁 기준선과 벤치마킹한다. 또한 SAFE-MEME(Structured reAsoning FramEwork)와 두 가지 변형을 제안한다: Q&A 스타일 추론을 활용하는 새로운 다중모달 사고의 연쇄(Chain-of-Thought) 기반 프레임워크(SAFE-MEME-QA)와 계층적 분류(SAFE-MEME-H)로, 밈에서 견고한 혐오 표현 탐지를 가능하게 한다. SAFE-MEME-QA는 가장 강력한 오픈소스 기준선 모델을 능가하며, MHS에서 2%, MHS-Con에서 4.7%의 향상을 보이고, 폐쇄형 모델인 GPT-4o와 Gemini 2.5에 근접한 성능을 달성한다. 반면 SAFE-MEME-H는 SAFE-MEME-QA를 능가하며, 최고의 오픈소스 기준선 대비 3% 향상을 기록하고, MHS에서만 GPT-4o에 필적하는 성능을 달성한다. SAFE-MEME-H 내 단일 층 어댑터의 미세조정이 일반적인 세분화된 혐오 밈 탐지에서 전체 미세조정 모델보다 우수함을 보인다. 그러나 Q&A 설정을 사용한 전체 미세조정 접근법은 혼동 사례 처리에 더 효과적이다. 또한 오류 사례를 체계적으로 분석하여, 혐오 밈 분석을 위한 제안된 구조화된 추론 프레임워크의 견고성과 한계에 대한 유용한 통찰을 제공한다.
현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.
RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.
비전-언어(VL) 이해 분야는 엔드-투-엔드 대규모 사전학습 VL 모델(VLMs)을 통해 전례 없는 발전을 이루었습니다. 그러나 이 모델들은 다단계 추론이 필요한 제로샷 추론 작업에서는 여전히 부족합니다. 이 목표를 달성하기 위해 이전 연구들은 분할 정복(divide-and-conquer) 파이프라인을 사용해 왔습니다. 본 논문에서 우리는 이전의 노력들이 몇 가지 본질적인 단점을 가지고 있다고 주장합니다: 1) 도메인 특화 하위 질문 분해 모델에 의존합니다. 2) 하위 질문이나 하위 답변이 불충분한 정보를 제공하더라도 모델이 최종 답변을 예측하도록 강요합니다. 우리는 대규모 언어 모델(LLMs)을 사용하여 VL 추론을 반복적으로 분해하는 프레임워크인 IdealGPT를 통해 이러한 한계점을 해결합니다. 구체적으로, IdealGPT는 하위 질문을 생성하기 위해 LLM을, 해당 하위 답변을 제공하기 위해 VLM을, 그리고 최종 답변에 도달하기 위해 추론하기 위해 또 다른 LLM을 활용합니다. 이 세 가지 모듈은 모델이 주요 질문에 대한 최종 답변을 확신할 때까지 분할 정복 절차를 반복적으로 수행합니다. 우리는 제로샷 설정 하에서 여러 가지 도전적인 VL 추론 작업에 대해 IdealGPT를 평가했습니다. 특히, 우리의 IdealGPT는 VCR에서 절대 10%, SNLI-VE에서 15%만큼 기존 최고의 GPT-4와 유사한 모델들을 능가했습니다. 코드는 https://github.com/Hxyou/IdealGPT 에서 확인할 수 있습니다.
온라인 사용자 생성 콘텐츠 게임(UGCGs)은 사회적 상호작용과 더 창의적인 온라인 엔터테인먼트를 위해 어린이와 청소년 사이에서 점점 인기를 얻고 있습니다. 그러나 이들은 노골적인 콘텐츠에 노출될 높은 위험을 초래하며, 어린이와 청소년의 온라인 안전에 대한 우려를 증폭시키고 있습니다. 이러한 우려에도 불구하고, 우연히 어린 사용자를 유혹할 수 있는 소셜 미디어상의 안전하지 않은 UGCG의 불법 이미지 기반 홍보 문제를 다룬 연구는 거의 없습니다. 이러한 도전은 UGCG 이미지에 대한 포괄적인 학습 데이터를 확보하기 어렵고, 기존의 안전하지 않은 콘텐츠와는 다른 이러한 이미지의 독특한 특성에서 기인합니다. 본 연구에서는 안전하지 않은 UGCG의 불법 홍보 위협을 연구하는 최초의 단계를 내딛습니다. 우리는 게임 제작자가 UGCG를 홍보하기 위해 사용하는 다양한 성적으로 노골적이고 폭력적인 콘텐츠를 표시하는 2,924개의 이미지로 구성된 실제 데이터셋을 수집했습니다. 우리의 심층 연구는 이 문제에 대한 새로운 이해와 불법 UGCG 홍보를 자동으로 식별할 필요성의 시급성을 밝혀냈습니다. 또한, 우리는 소셜 미디어 플랫폼이 불법 UGCG 홍보에 사용되는 이미지를 효과적으로 식별하도록 돕기 위해 설계된 최첨단 시스템인 UGCG-Guard를 개발했습니다. 이 시스템은 최근 도입된 대규모 비전-언어 모델(VLMs)을 활용하고, 제로샷 도메인 적응을 위한 새로운 조건부 프롬프팅 전략과 문맥 식별을 위한 사고의 연쇄(CoT) 추론을 사용합니다. UGCG-Guard는 실제 시나리오에서 이러한 게임의 불법 홍보에 사용되는 이미지를 감지하는 데 있어 94%의 정확도를 기록하는 탁월한 결과를 달성했습니다.