arXiv:2610.08102v1 cs.AI

DSV-Mem: MLLM 에이전트를 위한 전문 업무 워크플로우에서의 멀티모달 메모리 평가

DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents

Jike Zhong, Ritwick Chaudhry, Xuanbai Chen, Tianchen Zhao, Linghan Xu, Yifan Xing, Nishant Sankaran

제출 2026-10-06

한국어 초록

대화형 MLLM 에이전트는 AI 연구 및 엔지니어링 설계부터 제품 관리, 비즈니스 운영에 이르기까지 전문 업무 워크플로우를 지원할 것으로 점점 더 기대받고 있다. 그러나 이 역량은 아직 충분히 탐구되지 않았다: 기존 벤치마크는 주로 비정형적인 일상 상호작용과, 사진 형태의 자연 이미지, 독립적인 정적 아티팩트, 회상(recall) 중심 질문이 특징인 개인 생활 시나리오에 초점을 맞추고 있다. 반면 전문 업무 시나리오는 빈번한 수정과 권한(authority) 업데이트를 거치는 구조화된 정보 집약적 아티팩트, 그리고 상태를 정확히 추적하면서 다수의 아티팩트 버전을 조정(reconciliation)해야 하는 복합적 질의를 흔히 포함한다. 이러한 과제를 해결하기 위해, 우리는 밀집 상태 기반 시각 메모리(Dense Stateful Visual Memory)를 평가하기 위한 벤치마크인 DSV-Mem을 소개한다. DSV-Mem은 전문가가 검토한 시나리오와 다섯 가지 사용자 중심 범주(현재 상태, 과거 상태, 파생 상태, 변경 이력, 충돌/거부)에 걸친 1,000개의 질문으로 구성된다. 하틀리(Hartley)에서 착안한 기준은 더 광범위한 시각적 증거 검토를 요구하는 질문을 선호한다. 우리는 또한 상태 전이 합성과 대화 채우기를 분리하여 평가 스위트를 생성하는 생성 하니스(generation harness)를 소개한다. 최상위(frontier) 모델과 오픈 가중치(open-weight) 모델, 메모리 관리 기법을 포괄하는 27가지 구성에 대한 평가 결과, 가장 강력한 기준선(baseline)조차 DSV-Mem에서 45% 미만의 점수를 기록했다. 분석을 통해 다음과 같은 결과가 드러났다: 1) 멀티모달성과 정보 밀도 모두 난이도에 기여하지만, 상태 진화, 특히 지배적 업데이트(governing update)의 수가 테스트된 요인 중 가장 큰 영향을 미친다. 원시 대화/헤이스택(haystack) 길이, OCR, 산술 연산은 주요 병목이 아니다; 2) 모델은 답변 전에 사용자의 전제를 이전 상태 업데이트와 대조하여 검증하는 데 자주 실패한다; 3) 추론 노력(reasoning effort)의 증가와 메모리 관리 기법은 제한적인 성능 향상만을 가져오는 반면, 상태 인지(state-aware) 설계가 더 효과적인 것으로 나타났다. 벤치마크와 코드는 공개될 예정이다.

원문 초록

Conversational MLLM agents are increasingly expected to assist in professional workflows, from AI research and engineering design to product management and business operations. Yet this capability remains underexplored: existing benchmarks largely focus on informal, everyday interactions and personal-life scenarios featuring photographic natural images, isolated static artifacts, and recall-oriented questions. In contrast, professional scenarios often involve structured, information-heavy artifacts that undergo frequent revisions and authority updates, and compositional queries requiring reconciliation of many artifact versions while tracking state precisely. To address these challenges, we introduce DSV-Mem, a benchmark for evaluating Dense Stateful Visual Memory. DSV-Mem comprises expert-reviewed scenarios and 1,000 questions across five user-oriented categories (Current State, Past State, Derived State, Change History, and Conflict/Refusal). A Hartley-inspired criterion favors questions with broader visual-evidence inspection demands. We also introduce a generation harness that produces evaluation suites by decoupling state-transition synthesis from conversation filling. Evaluation over 27 configurations spanning frontier and open-weight models and memory management methods reveals that the strongest baseline scores below 45% on DSV-Mem. Analysis surfaces findings: 1) multimodality and information density both contribute to difficulty, but state evolution, particularly the number of governing updates, is the dominant tested factor. Raw conversation/haystack length, OCR, and arithmetic are not the primary bottlenecks; 2) models often fail to verify user premises against prior state updates before answering; 3) increased reasoning effort and memory management methods yield limited gains, whereas state-aware designs prove more effective. The benchmark and code will be publicly released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08102v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.