arXiv:2608.29088v1 cs.AI

HANIA: 그라운디드 질의응답을 위한 플래너 유도 다중모달 그래프 증거 선택

HANIA: Planner-Guided Multimodal Graph Evidence Selection for Grounded Question Answering

Zafar Ali, Asad Khan, Nimbeshaho Thierry, Nabila Amir, Adam A. Q. Mohammed, Pavlos Kefalas

제출 2026-08-29

한국어 초록

다중모달(multimodal) 질의응답은 노이즈가 많거나 불완전하며 약하게 그라운딩된(weakly grounded) 증거에 여전히 민감합니다. 긴 비정형 컨텍스트는 중복을 초래하고 근거 없는 생성을 유발할 수 있는 반면, 평면적 검색(flat retrieval)은 다단계 추론(multi-step reasoning)에 필요한 관계를 간과할 수 있습니다. 본 논문에서는 증거 기반 그라운디드 질의응답을 위한 플래너 유도 다중모달 그래프 프레임워크인 HANIA를 제시합니다. HANIA는 고정된(frozen) 비전-언어 모델을 사용해 제공된 이미지와 텍스트를 처리함으로써 명시적 기권(explicit abstention)과 함께 질문과 관련된 간결한 시각적 증거를 추출합니다. 그런 다음 입력 기반의 다중모달 그래프를 구축하고, 2단계 유한 상태 플래너(two-group finite-state planner)를 적용하여 서술적 증거와 관계적 증거를 조율합니다. 커버리지 인지 가지치기(coverage-aware pruning)는 관련성, 그래프 신뢰도, 개념 커버리지 및 모달리티 다양성을 바탕으로 간결한 증거 세트를 유지합니다. 선별된 구절, 시각적 진술, 그래프 트리플(graph triple)은 고정된 인스트럭션 튜닝(instruction tuning) 디코더에 제공됩니다. 본 논문에서는 정답 정확도, 증거 필터링 품질, 증거 예산 민감도, 효율성을 기준으로 ScienceQA에서 HANIA를 평가합니다. 결과는 구조화된 증거 계획과 간결한 그래프 유도 검색이 타깃 데이터셋에 대한 미세조정(fine-tuning)이나 반복적 검색 없이도 경쟁력 있는 다중모달 질의응답을 지원할 수 있음을 보여줍니다. 코드는 https://github.com/Zafar-southeast/HANIA 에서 이용 가능합니다.

원문 초록

Multimodal question answering remains sensitive to noisy, incomplete, and weakly grounded evidence. Long unstructured contexts can introduce redundancy and encourage unsupported generation, while flat retrieval may overlook relations needed for multi-step reasoning. We present HANIA, a planner-guided multimodal graph framework for evidence-grounded question answering. HANIA processes the supplied image and text using a frozen vision-language model to extract concise question-relevant visual evidence with explicit abstention. It then constructs an input-grounded multimodal graph and applies a two-group finite-state planner to coordinate descriptive and relational evidence. Coverage-aware pruning retains a compact evidence set based on relevance, graph confidence, concept coverage, and modality diversity. The selected passages, visual statements, and graph triples are provided to a frozen instruction-tuned decoder. We evaluate HANIA on ScienceQA using answer accuracy, evidence-filtering quality, evidence-budget sensitivity, and efficiency. The results show that structured evidence planning and compact graph-guided retrieval can support competitive multimodal question answering without target-dataset fine-tuning or iterative retrieval. The code is available at https://github.com/Zafar-southeast/HANIA.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.29088v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.