AWM: 긴 문서 시각적 질의응답 에이전트를 위한 답변 가능한 작업 메모리
AWM: Answerable Working Memory for Long-Document VQA Agents
한국어 초록
긴 문서 시각적 질의응답(Visual Question Answering, VQA)은 후보 페이지를 검색하고, 페이지 이미지를 검토하며, 발견한 내용을 작업 메모리(working memory)에 기록하고, 답변을 종합하는 비전-언어 모델(VLM) 에이전트에 점점 더 의존하고 있습니다. 작업 메모리는 이후 근거에 기반한(grounded) 답변 생성을 위해 여러 페이지를 검토하는 동안 답변을 뒷받침하는 근거를 유지해야 하지만, 기존 평가는 주로 최종 답변의 정확성과 근거 페이지에 대한 접근 여부만을 확인합니다. 이는 메모리 품질의 사각지대를 만듭니다. 즉, 에이전트가 올바른 페이지에 도달하여 정답을 맞히더라도, 페이지 컨텍스트가 제거되면 답변을 뒷받침하기에 너무 일반적이거나 불완전한 메모리를 남길 수 있습니다. 본 논문에서는 독자가 질문과 최종 작업 메모리만으로 답변할 수 있는지를 묻는 진단 지표인 \emph{메모리 단독 답변 가능성(memory-only answerability)}을 제안합니다. 이 진단 지표를 바탕으로, \emph{답변 가능한 작업 메모리(Answerable Working Memory, AWM)}는 최종 작업 메모리를 답변 가능한 근거 산출물로 다루며, AWM-GRPO는 최종 답변의 우선순위를 유지하면서 이 신호를 GRPO 보상에 반영합니다. GRPO 하에서 이 보상은 최종 작업 메모리가 여전히 답변 가능한 상태를 유지하는 정답 궤적(trajectory)에 더 높은 이점(advantage)을 부여합니다. \textsc{MMLongBench-Doc}에서 정답(gold) 근거 페이지가 제공되는 경우에도 정답의 42.5\%는 최종 작업 메모리만으로는 여전히 답변할 수 없습니다. AWM-GRPO는 \textsc{MMLongBench-Doc}과 \textsc{LongDocURL}에서 RAG 기준선 대비 최종 답변 정확도를 각각 8.1점 및 11.9점 향상시키며, 답변만 고려하는 GRPO 대비 메모리 누락-정답률(memory-missing-correct rate)을 2.7점 감소시킵니다.
원문 초록
Long-document visual question answering increasingly relies on VLM agents that retrieve candidate pages, inspect page images, write findings to working memory, and synthesize answers. Working memory should carry answer-supporting evidence across page inspections for later grounded answering, yet existing evaluation mainly checks final-answer correctness and evidence-page access. This creates a memory-quality blind spot: an agent may reach the right page and answer correctly while leaving behind memory too generic or incomplete to support answering once page context is removed. We introduce \emph{memory-only answerability}, a diagnostic that asks whether a reader can answer from the question and terminal working memory alone. Building on this diagnostic, \emph{Answerable Working Memory} (AWM) treats terminal working memory as an answerable evidence artifact, and AWM-GRPO incorporates this signal into the GRPO reward while preserving final-answer priority. Under GRPO, this reward assigns higher advantages to answer-correct trajectories whose terminal working memory remains answerable. On \textsc{MMLongBench-Doc}, even when gold evidence pages are provided, 42.5\% of correct answers still cannot be answered from terminal working memory alone. AWM-GRPO improves final-answer accuracy over the RAG baseline by 8.1 and 11.9 points on \textsc{MMLongBench-Doc} and \textsc{LongDocURL} and reduces the memory-missing-correct rate by 2.7 points over answer-only GRPO.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.25618v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.