모달리티 관련성은 모달리티 유용성이 아니다: 비용 인식 멀티모달 RAG를 위한 사후 선택적 모달리티 에스컬레이션
Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAG
멀티모달 RAG에서 모달리티의 관련성(relevance)이 실제 유용성(utility)을 예측하지 못한다는 문제를 지적하며, 검색 전 라우팅 대신 텍스트·표로 초안을 생성한 뒤 검증기로 누락된 모달리티를 식별해 필요한 경우에만 VLM을 호출하는 사후 선택적 모달리티 에스컬레이션(post-hoc selective modality escalation) 방법을 제안한다. MultiModalQA 실험에서 제안 방법은 항상 VLM을 사용하는 파이프라인과 거의 동일한 정확도를 유지하면서 시각적 호출 횟수를 크게 줄였다.