arXiv:2611.22837v1 cs.AI

자기 개선형 멀티모달 과학 문서 추론을 위한 근거 검색과 활용의 결합

Synergizing Evidence Retrieval and Utilization for Self-Improving Multimodal Scientific Document Reasoning

Frank Nie, Ethan B. Liu, Yuan Zhu, Jindong Han

제출 2026-11-18

한국어 초록

과학 문서에 대해 추론하려면 텍스트, 그림, 표에 흩어진 근거를 수집하고 통합해야 한다. 검색은 관련 출처를 찾더라도 이를 보완하는 근거를 놓칠 수 있다. 답변 수준의 피드백만으로는 오류가 근거 수집에서 생겼는지 근거 활용에서 생겼는지 알기 어렵다. 멀티모달 과학 문서 추론을 위한 에이전트형 검색기–인지기–추론기 프레임워크를 제시한다. 검색기는 문맥 예산 안에서 출처에 부합하는 근거를 순차적으로 선택한다. 인지기는 선택한 근거와 질문을 받아 질문 조건부 잠재 온톨로지를 구성한다. 이는 공유 연속 공간에 멀티모달 근거를 암묵적으로 정리한 표현이다. 추론기는 이 잠재 지침을 원본 출처와 결합해 근거에 기반한 답을 생성한다. 진단에 따른 공동 진화로 세 구성 요소를 학습한다. 공통 답변 보상으로 각 구성 요소를 번갈아 최적화하고, 검색 잠재력 피드백(RPF)과 잠재 표현 유효성 피드백(LEF)으로 검색이나 잠재 지침 개선이 필요한 질문을 식별해 해당 질문을 다시 샘플링한다. 벤치마크 네 개와 평가 설정 일곱 개에서 70억 및 80억 매개변수 추론 백본의 평균 점수는 각각 69.9와 75.0이었다. 성능이 가장 높은 기준선보다 각각 4.0점과 9.1점 높았다.

원문 초록

Scientific document reasoning requires an agent to acquire and integrate evidence distributed across text, figures, and tables. Retrieval can identify relevant sources while missing complementary support, and answer-level feedback alone does not reveal whether an error stems from evidence acquisition or evidence use. We present an agentic Retriever--Perceiver--Reasoner framework for multimodal scientific document reasoning. The Retriever sequentially selects source-aligned evidence under a context budget. Given the selected evidence and question, the Perceiver constructs a question-conditioned latent ontology, an implicit organization of multimodal evidence in a shared continuous space. The Reasoner combines this latent guidance with the original sources to produce grounded answers. We train the three components through diagnostic-guided co-evolution: alternating updates optimize them with a shared answering reward, while Retrieval Potential Feedback (RPF) and Latent Efficacy Feedback (LEF) identify questions that need better retrieval or latent guidance and direct targeted resampling. Across four benchmarks and seven evaluation settings, our framework obtains average scores of 69.9 and 75.0 with 7B and 8B Reasoner backbones, exceeding the strongest baseline by 4.0 and 9.1 points, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22837v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.