멀티모달 대규모 언어 모델(MLLM)은 시각화 해석에 점점 더 많이 사용되지만, 현재 평가는 대체로 차트 중심에 머물러 과학 시각화(SciVis) 이해에 대한 제한적인 증거만 제공한다. 우리는 과학 시각화 리터러시 평가 테스트(scientific visualization literacy assessment test)에서 6개 MLLM을 벤치마킹한다. 이는 18개의 과학 시각화 및 일러스트레이션을 기반으로 한 49개 문항으로 구성된 표준화된 SciVis 리터러시 평가이며, 8가지 기법과 11가지 과제 유형을 포괄한다. closed-world 프로토콜 하에서 3개의 폐쇄 소스 모델과 3개의 오픈 소스 모델을 평가하고, 485명의 인간 참가자 데이터를 사용하여 성능을 비교한다. 결과는 현재 MLLM이 균일한 SciVis 리터러시를 보이지 않음을 보여준다. Gemini는 전반적으로 가장 강력한 모델로, 평가된 하위 집합 전반에서 인간 평균을 넘어서지만, 오픈 소스 모델은 인간 기준선 아래에 머문다. 성능은 기법과 과제에 걸쳐 매우 불균일하다. 모델은 과학 일러스트레이션, 탐색(search), 공간 이해에서 가장 좋은 성능을 보이지만, 텍스처 기반 및 통합(integration) 기반 시각화와 정량적 추정에서는 어려움을 겪는다. 오류 분석은 세밀한 정량적 추정, 흐름 방향 해석, 그라운딩된(grounded) 인코딩 해석에서 반복되는 실패를 드러낸다. 이러한 발견은 SciVis 리터러시를 멀티모달 AI 시스템 평가를 위한 필수 벤치마크 차원으로 자리매김한다. 코드와 모델 출력은 https://github.com/patdmp/mllm-scivis-lit-benchmark 에서 공개되어 있다.
과학 시각화(SciVis)에서 자율성 중심 LLM 에이전트의 투명성·감독 한계를 보완하기 위해 HiLSVA는 계획 우선 다중 에이전트, 단계별 출처 추적, 샌드박스 실행, 사용자 피드백 기반 테스트 시점 학습을 결합한 human-in-the-loop 혼합 주도형 시스템을 제안한다. 12명 대상 사용자 연구에서 혼합 주도형 상호작용이 과제 완료·통제·워크플로 투명성을 개선했으나, 실행 효율성과 인간 감독 사이 트레이드오프가 확인되었다.
고품질 방법론 그림은 과학적 커뮤니케이션의 핵심이지만, 여전히 만들기 어렵고 시간이 많이 든다. 이러한 그림은 논문이 발전함에 따라 방법의 구성 요소와 정보 흐름을 명확하고 수정 가능한 다이어그램으로 압축해야 한다. 기존 방법론 다이어그램 자동화 시스템은 일반적으로 편집 가능성과 시각적 품질 사이의 트레이드오프에 직면한다. TikZ 또는 SVG 기반 방법은 편집 가능한 구조화된 출력을 생성하지만 종종 사람이 설계한 그림의 풍부함이 부족한 반면, 이미지 생성 모델은 다듬어진 래스터 출력을 생성하지만 수정하기 어렵다. 우리는 과학 텍스트로부터 시각적으로 풍부하고 완전히 편집 가능한 방법론 그림을 생성하는 end-to-end 멀티 에이전트 프레임워크인 SciFig를 제안한다. SciFig는 그림 생성을 계획, 레이아웃 합성, 구성 요소 렌더링, 반복적 정제로 분해하여, 표준 다이어그램 도구에서 편집할 수 있고 인간 또는 VLM 피드백을 통해 정제할 수 있는 XML 그림을 생성한다. 또한 37개 arXiv 도메인과 15개 최상위 AI/ML 학회에서 수집한 435개의 저자 직접 작성 방법론 그림으로 구성된 사람 검증 벤치마크 SciFig-Bench와, 그림 품질을 측정하는 4축 평가 프로토콜 SciFig-Eval을 소개한다. 7개의 단일 에이전트 및 에이전틱 베이스라인에 걸쳐 SciFig는 4개 SciFig-Eval 축 모두에서 최고 성능을 달성하며, 평균 약 10분 만에 편집 가능한 그림을 생성한다. 정성적 예시는 SciFig가 방법론 그림을 넘어 티저 다이어그램과 통계 플롯까지 일반화할 수 있음을 추가로 보여준다. 데이터셋과 코드는 https://shramanpramanick.github.io/SciFig/ 에서 이용할 수 있다.