arXiv:2610.02399v1 cs.LG

VisAudit: 시각적 진단 및 복구를 위한 멀티모달 에이전트 평가

VisAudit: Evaluating Multimodal Agents for Visual Diagnosis and Repair

Shicheng Liu, Adam Kahirov, Qi Zhang, Zhimin Hu, Song Wang, Junhong Lin, Julian Shun, Yada Zhu

제출 2026-10-01

한국어 초록

멀티모달 에이전트(multimodal agent)는 데이터 시각화 작업에 점점 더 많이 활용되고 있지만, 자율적 검토 능력에서는 여전히 한계를 보입니다. 인간과 달리 에이전트는 시각화가 잘못된 시점을 인식하지 못하거나, 무엇을 변경해야 할지 결정하지 못하고, 올바른 내용을 훼손하지 않으면서 이를 복구하거나, 수정 작업이 성공했는지 검증하지 못할 수 있습니다. 기존 벤치마크는 차트 생성, 지시 기반 편집, 결함 탐지와 같은 사전 정의된 개별 능력을 주로 평가하므로, 자율적 검토에서의 이러한 격차를 포착하지 못합니다. 이에 본 논문에서는 시각화 진단, 복구 및 검증을 평가하기 위한 벤치마크인 VisAudit을 소개합니다. 렌더링된 차트와 원본 데이터 테이블, 의도된 텍스트 요약, 시각화 코드를 포함하는 설정 가능한 보조 증거가 주어지면, 에이전트는 잠재적 결함을 반복적으로 진단하고, 시각화 코드를 수정 및 실행하며, 실행 및 시각적 피드백을 점검하고, 추가적인 개입이 필요 없는 시점을 판단합니다. VisAudit은 진단 기반 복구, 자율 복구, 오픈월드 검증에 이르는 세 가지 트랙을 정의하며, 21가지 차트 유형과 10가지 결함 범주에 걸친 1,900개의 결함 인스턴스와 함께 300개의 초기 정상 차트를 포함합니다. 우리는 검증된 원본 시각화에 대한 제어된 섭동(perturbation)을 통해 벤치마크를 구축하였으며, 체계적인 검증과 인간 기준에 맞춘 품질 관리를 적용하여 주입된 결함이 명확히 정의되고 가용 증거로부터 복구 가능하도록 보장했습니다. 선도적인 멀티모달 모델을 대상으로 한 실험 결과, 신뢰할 수 있는 자율 검토와는 상당한 격차가 있음이 드러났으며, 평가된 가장 강력한 모델도 자율 복구 환경에서 결함이 있는 차트의 단 $47.4\%$만을 완전히 복구하는 데 그쳤습니다.

원문 초록

Multimodal agents are increasingly used for data visualization tasks but remain limited in autonomous review. Unlike humans, they may fail to recognize when a visualization is incorrect, determine what to change, repair it without disrupting correct content, and verify whether the intervention succeeded. Existing benchmarks largely evaluate predefined individual capabilities such as chart generation, instruction-guided editing, or defect detection, and therefore do not capture this gap in autonomous review. We introduce VisAudit, a benchmark for evaluating visualization diagnosis, repair, and verification. Given a rendered chart and configurable auxiliary evidence, including its source data table, intended text summary, and visualization code, an agent iteratively diagnoses potential defects, modifies and executes visualization code, inspects execution and visual feedback, and determines when no further intervention is needed. VisAudit defines three tracks spanning diagnosed repair, autonomous repair, and open-world verification, and contains 1,900 flawed instances across 21 chart types and 10 flaw categories, together with 300 initially correct charts. We construct the benchmark through controlled perturbations of validated source visualizations, with systematic verification and human-aligned quality control to ensure that injected defects are well-defined and recoverable from the available evidence. Experiments with leading multimodal models reveal a substantial gap from reliable autonomous review: the strongest evaluated model fully recovers only $47.4\%$ of flawed charts in the autonomous-repair setting.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02399v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15915v1cs.CV공통 태그 Benchmarking, multimodal agents

VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화

VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It

재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.

arXiv:2610.08365v2cs.CV공통 태그 Benchmarking, Data Visualization

스티븐스의 멱법칙을 활용한 GPT-5.5의 시각적 인코딩 암묵적 판독 능력 검증

A Stevens's Power Law Check-up of GPT-5.5's Implicit Reading of Visual Encoding

본 연구에서는 시각화를 판독하는 AI 모델의 암묵적 능력을 측정하기 위해 스티븐스의 멱법칙(Stevens's power law)을 적용하며, 이를 통해 알고리즘 모델의 내장된 지각 메커니즘을 밝혀낼 수 있습니다. 예비 연구에서 AI 모델에게는 범례가 제공되지 않습니다. 색상 조건에서도 컬러맵 이름이 제공되지 않습니다. GPT-5.5는 먼저 기준이 되는 시각적 표현을 확인하고 그 크기를 추정한 다음, 동일한 표현의 후속 이미지 각각의 크기를 해당 기준에 상대적으로 추정합니다. 12가지 시각 변수에 대한 평가를 통해, 알고리즘 모델이 시각적 인코딩(visual encoding)을 판독하는 방식을 측정 가능하게 하고, 인간의 지각과 비교할 수 있도록 하며, 인간에게 더 투명하게 만듭니다.

arXiv:2609.28236v1cs.CV공통 태그 Benchmarking, multimodal agents

EmbodiedMemory-Bench: 장기 체감 과업을 위한 체감 메모리 벤치마킹

EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks

장기 체감 상호작용에서는 에이전트가 관찰하고 행동하며 변화를 겪는 동안 환경에 대한 정보를 유지하고 지속적으로 갱신해야 한다. 그러나 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪는다. 우리 분석은 이 한계를 네 가지 핵심 결함으로 추적한다: 미세한 시각 메모리의 취약함, 신뢰할 수 없는 동적 세계 상태(world-state) 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 과거 경험으로부터의 제한된 일반화. 그러나 기존 벤치마크는 장기 체감 상호작용 과정에서 이러한 메모리 역량을 직접 평가하지 않는다. 이 공백을 메우기 위해 우리는 네 가지 과업군에 걸친 2,554개의 상호작용 에피소드로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 제안한다. EMem-Bench는 에이전트가 상호작용 이력으로부터 메모리를 구축·갱신한 뒤, 이를 활용해 환경에서 행동함으로써 이후 과업을 완수하도록 요구한다. 또한 체감 경험을 공간, 사건, 장면 메모리로 구조화하는 외부 메모리 시스템 Embodied-Memorizer(EMem)를 제시한다. 또한 이러한 메모리를 관리하고 활용하는 8B 정책(policy) EMem-8B를 학습한다. 오픈소스 및 독점 MLLM과 대표적인 멀티모달 메모리 시스템을 폭넓게 평가한다. 결과는 현재 모델이 네 가지 과제 전반에 걸쳐 여전히 취약하고 불균형함을 보여준다. 동일 백본(backbone) 조건에서 EMem은 평가된 메모리 시스템 중 최고의 전체 성능을 달성하며 오픈소스와 독점 모델 모두를 개선하고, EMem-8B는 백본 대비 추가로 향상된다. 프로젝트 페이지: https://zju-omniai.github.io/EmbodiedMemoryBench/

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.