Video-Text Dataset Construction from Multi-AI Feedback: Promoting Weak-to-Strong Preference Learning for Video Large Language Models
원문 초록
High-quality video-text preference data is crucial for Multimodal Large Language Models (MLLMs) alignment. However, existing preference data is very scarce. Obtaining VQA preference data for preference training is costly, and manually annotating responses is highly unreliable, which could result in low-quality pairs. Meanwhile, AI-generated responses controlled by temperature adjustment lack diversity. To address these issues, we propose a high-quality VQA preference dataset, called \textit{\textbf{M}ultiple \textbf{M}ultimodal \textbf{A}rtificial \textbf{I}ntelligence \textbf{P}reference Datasets in \textbf{V}QA} (\textbf{MMAIP-V}), which is constructed by sampling from the response distribution set and using an external scoring function for response evaluation. Furthermore, to fully leverage the preference knowledge in MMAIP-V and ensure sufficient optimization, we propose \textit{\textbf{Iter}ative \textbf{W}eak-to-\textbf{S}trong \textbf{R}einforcement \textbf{L}earning from \textbf{AI} \textbf{F}eedback for video MLLMs} (\textbf{Iter-W2S-RLAIF}), a framework that gradually enhances MLLMs' alignment capabilities by iteratively updating the reference model and performing parameter extrapolation. Finally, we propose an unbiased and information-complete evaluation scheme in VQA evaluation. Experiments demonstrate that MMAIP-V is beneficial for MLLMs in preference learning and Iter-W2S-RLAIF fully exploits the alignment information in MMAIP-V. We believe that the proposed automatic VQA preference data generation pipeline based on AI feedback can greatly promote future work in the MLLMs alignment. \textbf{Code and dataset are available} \href{https://anonymous.4open.science/r/MMAIP-V_Iter-W2S-RLAIF-702F}{MMAIP-V\_Iter-W2S-RLAIF-702F}.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원격 탐사 영상을 위한 카피-무브 위조 탐지 및 질의응답
Copy-Move Forgery Detection and Question Answering for Remote Sensing Image
토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.
MedHallTune: 비전-언어 모델의 의료 환각 완화를 위한 인스트럭션 튜닝 벤치마크
MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models
의료 분야 애플리케이션에서 비전-언어 모델(VLM)의 활용이 증가함에 따라, 겉보기에는 그럴듯하지만 실제로는 부정확한 결과를 생성하는 환각(hallucination)과 관련된 큰 과제가 대두되고 있습니다. 이러한 환각은 임상적 의사결정을 위태롭게 하여 잠재적으로 진단과 치료에 악영향을 미칠 수 있습니다. 본 연구에서는 의료 VLM의 환각을 평가하고 완화하기 위해 특별히 설계된 대규모 벤치마크인 MedHallTune을 제안합니다. 10만 개 이상의 이미지와 100만 개 이상의 인스트럭션 쌍으로 구성된 MedHallTune은 환각 및 비환각 샘플을 모두 포함하며, 각각 정답(ground-truth) 주석이 제공됩니다. 우리는 MedHallTune을 사용하여 현재의 의료 및 범용 VLM에 대한 종합적인 평가를 수행하고 임상 정확도, 관련성, 세부 수준, 위험 수준 등의 주요 지표 전반에서 성능을 평가했습니다. 실험 결과에 따르면 MedHallTune을 통한 미세조정(fine-tuning)은 환각을 관리하는 기존 여러 모델의 능력을 성공적으로 향상시키고 다운스트림 시각적 질의응답(VQA) 태스크에서의 제로샷 성능을 높여, 실제 의료 애플리케이션에서 더 높은 신뢰성을 갖추도록 지원함을 보여줍니다. 본 연구는 보다 신뢰할 수 있는 VLM 개발에 기여합니다. 코드와 데이터셋은 \href{https://github.com/russellyq/MedHallTune}{MedHallTune}에서 제공될 예정입니다.
Describe Anything Model for Visual Question Answering on Text-rich Images
Decoupled Seg Tokens Make Stronger Reasoning Video Segmenter and Grounder
DrishtiKon: Multi-Granular Visual Grounding for Text-Rich Document Images
HRIBench: Benchmarking Vision-Language Models for Real-Time Human Perception in Human-Robot Interaction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.