arXiv:2611.18771v1 cs.CV

Agri-MRAG: 농업 시각 질의응답을 위한 파라미터 강화 멀티모달 검색 증강 생성

Agri-MRAG: Parameter-Enhanced Multimodal Retrieval-Augmented Generation for Agricultural Visual Question Answering

Fuyong Liu, Xiantao Lei, Xining Zhang

제출 2026-11-17

한국어 초록

멀티모달 검색 증강 생성(MRAG)은 농업 시각 질의응답(Agri-VQA)에서 가능성을 보였지만, 기존 방법은 중복을 피하면서 관련 지식을 검색하는 문제와 검색된 증거를 단순한 프롬프트 연결 이상으로 통합하는 문제에서 여전히 어려움을 겪는다. 이러한 문제를 해결하기 위해 우리는 농업 VQA를 위한 멀티모달 검색 증강 프레임워크인 Agri-MRAG를 제안한다. 구체적으로, 먼저 멀티모달 클러스터링과 가중 관련성 점수화를 결합하여 신뢰도 높은 지식 부분집합을 선택하고 검색 크기 $k$를 적응적으로 결정하는 의미 일관성 기반 클러스터링 메커니즘을 도입한다. 이어서 검색된 농업 지식을 LoRA 어댑터로 인코딩하여 MLLM의 순방향 신경망(FFN) 층에 병합함으로써 외부 지식이 파라미터 수준의 적응을 통해 생성에 영향을 미치도록 하는 파라미터화된 지식 주입 전략을 설계한다. 또한 모델의 불확실성에 따라 암묵적 파라메트릭 추론과 명시적 검색 보조 생성 사이를 전환하는 퍼플렉시티 기반(PPL-guided) 라우팅 메커니즘을 사용하여 추론 효율과 답변 신뢰성의 균형을 맞춘다. 평가를 위해 폭넓은 농업 벤치마크로 PlantVillageVQA를 사용하고, 이미지 7,514장과 전문가가 검증한 질의응답 쌍 15,028개를 포함하는 지역 특화 임업 및 과수 작물 VQA 데이터셋인 PlantVQA를 구축한다. 실험 결과, Agri-MRAG는 두 데이터셋에서 각각 41.21과 46.58의 ROUGE-L 점수를 달성하여 mRAG를 11.70점과 4.51점, VisRAG를 8.80점과 3.39점 앞선다.

원문 초록

Multimodal Retrieval-Augmented Generation (MRAG) has shown promise for Agricultural Visual Question Answering (Agri-VQA), but existing methods still face challenges in retrieving relevant knowledge while avoiding redundancy and in integrating retrieved evidence beyond simple prompt concatenation. To address these issues, we propose Agri-MRAG, a multimodal retrieval-augmented framework for agricultural VQA. Specifically, we first introduce a semantic-consistency-guided clustering mechanism that combines multimodal clustering and weighted relevance scoring to select high-confidence knowledge subsets and adaptively determine the retrieval size $k$. We then design a parameterized knowledge injection strategy, where retrieved agricultural knowledge is encoded into LoRA adapters and merged into the feed-forward network (FFN) layers of the MLLM, allowing external knowledge to influence generation through parameter-level adaptation. In addition, a perplexity-guided (PPL-guided) routing mechanism is employed to switch between implicit parametric reasoning and explicit retrieval-assisted generation according to model uncertainty, balancing inference efficiency and answer reliability. For evaluation, we use PlantVillageVQA as a broad agricultural benchmark and construct PlantVQA, a region-specific forestry and fruit crop VQA dataset containing 7,514 images and 15,028 expert-verified question-answer pairs. Experiments show that Agri-MRAG achieves ROUGE-L scores of 41.21 and 46.58 on the two datasets, outperforming mRAG by 11.70 and 4.51 points, and VisRAG by 8.80 and 3.39 points, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18771v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.