HakushoBench: 정부 백서 기반의 일본어 차트 및 표 VQA 벤치마크
HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers
한국어 초록
차트 및 표 이미지를 이해하는 것은 비전-언어 모델(VLM)을 실제 문서 이해에 적용하는 데 필수적입니다. 영어 벤치마크는 빠르게 발전한 반면, 비영어권 벤치마크는 여전히 부족하여 이러한 발전이 다른 언어로도 일반화되는지 불분명합니다. 주요 장애물은 현실적이고 다양한 비영어 차트 및 표 이미지를 대규모로 수집하기 어렵다는 점입니다. 이를 해결하기 위해 본 연구는 다양한 형식과 도메인에 걸쳐 자연스럽게 발생하는 차트와 표를 포함하고 있으며 여러 국가에서 자유롭게 접근할 수 있는 정부 백서를 벤치마크 구축의 원천으로 활용합니다. 그 첫 번째 사례로, 33개의 정부 백서로 구축된 일본어 차트 및 표 시각적 질의응답(VQA) 벤치마크인 HakushoBench를 소개합니다. HakushoBench는 10개 이상의 이미지 유형에 걸친 2,053개의 이미지를 포함하며, 단순한 국소적 시각 단서보다는 차트와 표에 대한 총체적 이해를 평가하도록 설계되어 수작업으로 주석이 달리고 독립적으로 검증된 QA 쌍으로 구성됩니다. 광범위한 VLM에 걸친 실험 결과, HakushoBench는 기존 일본어 벤치마크보다 실질적으로 더 어려우며 오픈 가중치(open-weight) 모델에게도 여전히 도전적인 과제임을 보여줍니다. 10B 미만의 오픈 가중치 모델은 최대 58.6%의 정확도에 그쳤고, 대표적인 플래그십 오픈 가중치 모델인 Qwen3.5-397B-A17B조차 Gemini 3 Pro보다 8.1%p 뒤처져(85.8% 대 93.9%), 복잡한 차트 및 표 이해에 상당한 개선 여지가 있음을 강조합니다. 데이터셋과 코드는 공개됩니다.
원문 초록
Understanding chart and table images is essential for applying vision-language models (VLMs) to real-world document understanding. While English benchmarks have advanced rapidly, non-English counterparts remain scarce, leaving it unclear whether this progress generalizes across languages. A key obstacle is the difficulty of collecting realistic and diverse non-English chart and table images at scale. To address this, we leverage governmental white papers as a source for benchmark construction, as they contain naturally occurring charts and tables across diverse formats and domains and are freely accessible in many countries. As a first instantiation, we introduce HakushoBench, a Japanese chart and table VQA benchmark built from 33 governmental white papers. HakushoBench contains 2,053 images spanning over 10 image types, with manually annotated and independently verified QA pairs designed to assess holistic understanding of charts and tables rather than local visual cues alone. Experiments across a broad range of VLMs show that HakushoBench is substantially harder than the existing Japanese benchmark and remains challenging for open-weight models: sub-10B open-weight models reach at most 58.6% accuracy, and even the flagship open-weight model Qwen3.5-397B-A17B trails Gemini~3~Pro by 8.1 points (85.8% vs. 93.9%), highlighting substantial room for improvement in complex chart and table understanding. We release our dataset and code.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
STARS: 인간-로봇 상호작용에서 시공간 동역학부터 사회적 표현까지
STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction
동적이고 인간 중심적인 환경에서의 로봇 내비게이션은 강건한 장면 이해에 기반한(grounded) 사회적 규범을 준수하는(socially-compliant) 결정을 필요로 합니다. 최근 비전-언어 모델(VLM)은 객체 인식, 상식 추론, 문맥 이해와 같이 사회적 로봇 내비게이션의 미묘한 요구사항에 부합하는 유망한 능력을 보여주고 있습니다. 그러나 VLM이 안전하고 사회적으로 순응하는 로봇 내비게이션에 필수적인 복잡한 사회적 내비게이션 장면을 정확히 이해할 수 있는지(예: 에이전트 간의 시공간적 관계 및 인간의 의도 추론)는 여전히 불분명합니다. 일부 최근 연구에서 사회적 로봇 내비게이션에 VLM을 활용하는 방안을 모색했으나, 이러한 필수 조건을 충족하는 능력을 체계적으로 평가한 연구는 전무합니다. 본 논문에서는 실제 사회적 로봇 내비게이션 시나리오에서 장면 이해를 위한 VLM을 평가하도록 설계된 시각적 질의응답(VQA) 데이터셋이자 벤치마크인 SocialNav-SUB(Social Navigation Scene Understanding Benchmark)를 소개합니다. SocialNav-SUB는 사회적 로봇 내비게이션에서 공간적, 시공간적, 사회적 추론을 요구하는 VQA 태스크 전반에 걸쳐 인간 및 규칙 기반 베이스라인과 VLM을 비교 평가하기 위한 통합 프레임워크를 제공합니다. 최첨단 VLM을 활용한 실험을 통해, 최고 성능을 보이는 VLM이 인간의 답변과 일치할 고무적인 확률을 달성하지만, 여전히 더 단순한 규칙 기반 접근법과 인간 합의 베이스라인보다 성능이 떨어짐을 확인하였으며, 이는 현재 VLM의 사회적 장면 이해에 중대한 격차가 있음을 시사합니다. 우리의 벤치마크는 사회적 로봇 내비게이션을 위한 파운데이션 모델에 대한 추가 연구의 발판을 마련하며, 실제 사회적 로봇 내비게이션 요구사항을 충족하도록 VLM을 맞춤 조정하는 방법을 탐구할 수 있는 프레임워크를 제공합니다. 본 논문의 개요와 코드 및 데이터는 https://larg.github.io/stars 에서 확인할 수 있습니다.
보고 말하지만 사용하지 못함: 멀티모달 대규모 언어 모델에서 보고 가능한 공간적 사실로부터 사용 가능한 상태로의 전환
Seeing, Saying, but Not Using: From Reportable Spatial Facts to Usable States in Multimodal Large Language Models
공간적 사실을 올바르게 보고하는 멀티모달 대규모 언어 모델(MLLM)이 후속 추론에서 해당 사실을 반드시 사용하는 것은 아닙니다. 이러한 차이를 연구하기 위해, 공간 상태의 구축 및 활용을 평가하는 23,196개의 입력으로 구성된 벤치마크인 \textsc{SpaceConflict}를 소개합니다. 통합된 지지/모순/알 수 없음(Supported/Contradictory/Unknown) 판별 인터페이스 하에서, 이는 국소적 사실 결합(L1), 관계적 합성(L2), 교차 관측 일관성(L3), 변환 하에서의 상태 판별(L4)을 다룹니다. 동일한 세계에 대해 직접 상태 질의, 전체 변환 질의, 명시적 초기 상태 질의를 제시함으로써 가용성-활용 격차(availability-utilization gap)를 밝혀냈습니다. 모델은 시각적 증거로부터 초기 상태를 복원하지만, 해당 상태가 변환을 이끌어야 할 때는 실패합니다. Qwen3.5-9B의 경우, 초기 상태를 올바르게 복원한 100개 시퀀스 중 50개가 전체 변환에 실패하며, 상태를 명시적으로 제공하면 이 50개 모두가 해결됩니다. 이러한 격차는 스케일이 커짐에 따라 좁혀지지만 완전히 사라지지는 않습니다. 따라서 우리는 과업 관련 공간 상태와 그 변환 궤적을 감독하고 문맥 전반에 걸쳐 공유된 사실을 정렬하는 운영 상태 지도(Operational State Supervision, OSS)를 제안합니다. OSS는 상태를 체계화하고 사용하는 데 의존하는 수준인 L3 및 L4의 일치 판별에 대한 쌍별 정확도(paired accuracy)를 가장 크게 향상시킵니다. 따라서 멀티모달 공간 추론을 평가하려면 모델이 공간적 사실을 보고 진술할 수 있는지뿐만 아니라, 그 사실이 후속 계산에서 사용 가능한 상태가 되는지까지 물어야 합니다.
R-GroundBench: 마쿠시 분자 편집에서의 R-그룹 그라운딩 진단 벤치마크
R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing
과학적 발견을 위한 AI의 최근 발전은 분자에 대한 이해와 설계를 가능하게 하지만, 불완전한 화학적 표현에 대한 추론은 여전히 명확하지 않습니다. 가변적인 R-그룹 플레이스홀더(\textit{R\textsubscript{1}}, \textit{R\textsubscript{2}}, \textit{X} 등)를 통해 분자 계열을 부호화하는 마쿠시(Markush) 구조는 제약 특허에 널리 퍼져 있으며 분자, 텍스트 및 화학 정보 전반에 걸친 그라운딩(grounding)을 필요로 합니다. 그러나 기존의 분자-언어 벤치마크는 완전히 명시된 분자에만 초점을 맞추고 있어, R-그룹 그라운딩은 대체로 평가되지 않은 채로 남아 있습니다. 본 연구에서는 실제 특허 마쿠시 구조로 구축된 진단 벤치마크인 R-GroundBench를 도입하며, 이는 제어된 난이도 및 모달리티 분할을 갖춘 객관식(VQA) 트랙과 개방형 생성(Generation) 트랙을 특징으로 합니다. 실험 결과는 인식과 분자 그라운딩 사이에 상당한 격차가 있음을 보여줍니다. 모델들이 Easy VQA에서는 90\% 이상의 정확도를 달성하는 반면, 지름길(shortcut)이 제어된 Hard VQA에서는 성능이 56--66\%로 떨어집니다. 화학 도메인 VLM 또한 도메인 특화 사전학습에도 불구하고 Hard VQA에서 25.7--46.2\%만을 달성하여 신뢰할 수 없는 수준에 머물러 있습니다. 게다가 생성 정확 일치(Exact Match)는 대부분의 모델에서 20\% 미만으로 유지되며, 시각적 입력이 요구될 때는 8\% 미만으로 떨어집니다. 이러한 결과는 현재의 AI 시스템이 마쿠시 편집을 위한 신뢰할 수 있는 그라운딩 및 실행 능력이 부족함을 드러내며, AI 기반 과학적 발견의 주요 과제들을 부각합니다.
Video-Index: 비디오 이해를 위한 큐레이션된 메타 벤치마크
Video-Index: A Curated Meta-Benchmark for Video Understanding
비디오 벤치마크는 측정하고자 하는 역량에 보상을 부여해야 하지만, 모델은 정답 선택지, 질문 텍스트, 또는 일부 시각적 증거만을 악용할 수 있습니다. 본 연구에서는 각 항목에 대한 접근 수준이 점진적으로 증가하는 5단계의 지름길 공격(shortcut attack)인 공격 피라미드(attack pyramid)를 도입하고, 이를 통해 115개의 비디오 벤치마크를 감사합니다. 35개 벤치마크에서는 프레임을 전혀 보지 않는 공격자도 전체 비디오를 본 정확도에 근접했습니다. 시간에 따른 탐침(temporal probe)이 있는 51개 벤치마크의 경우, 프레임 순서를 섞어도 전체 비디오 정확도의 중앙값 96%를 유지했습니다. 또한 63개 벤치마크에서는 거의 중복된 질문이 전체 항목의 최소 절반을 차지했습니다. 저자들은 이 중 112개 벤치마크에서 505,518개의 질문-답변 쌍을 선별하여 검증된 풀을 구축했습니다. 에이전트가 평가 요청을 명세로 변환하고, 레드팀 게이트(red-team gate)가 포함된 결정론적 선택기가 재현 가능한 벤치마크를 구성합니다. 우리는 이러한 공격 하에서 4개의 역량 그룹별로 가장 어려운 검증된 210개 항목, 즉 76개 출처에서 총 840개 항목으로 구성된 Video-Index를 공개합니다. 동일하게 고정된 입력을 사용할 때 Claude Opus 5는 모든 오픈소스 모델보다 37%p 이상 높은 점수를 기록했으며 에이전트 도구를 통해 약 20%p가 추가되었으나, 모든 시스템은 여전히 효율성과 정확도를 개선할 여지를 남겨두고 있습니다. 블로그: https://www.enxinsong.com/blog/video-index/ GitHub: https://github.com/Espere-1119-Song/Video-Index Hugging Face: https://huggingface.co/datasets/Video-Index/Video-Index
Hob-VL: 시각적 그라운딩 기반 불리언 추론을 위한 벤치마크
Hob-VL: A Benchmark for Visually Grounded Boolean Reasoning
신뢰할 수 있는 시각적 추론(visual reasoning)을 수행하려면 여러 시각적 관찰 결과를 조합하고 논리적으로 동등한 질문에 대해 일관된 답변을 도출할 수 있어야 합니다. 본 연구에서는 시각적 그라운딩(visually grounded) 기반 불리언 추론(Boolean reasoning)을 위한 벤치마크인 Hob-VL을 소개합니다. Hob-VL은 두 가지 태스크로 구성됩니다: (1) 이미지에서 불리언 규칙이 성립하는지 평가하기, (2) 불리언 설명을 만족하는 (고유한) 객체 식별하기. Hob-VL은 생성된 1,000개의 장면과 46개의 다양한 라벨링된 사진에 걸쳐 10개의 시각적 진술의 불리언 조합으로 정의된 6,000개의 사람이 검증한 균형 잡힌 Yes/No 질문과 동일한 사진들에 대한 1,000개의 객체 식별 질문을 포함합니다. 본 연구의 질문 집합은 오해를 유발하는 로컬 단서와 중첩된 논리 연산을 통해 추론 능력에 도전하도록 의도적으로 설계되었으며, 기호적 표현과 구조화된 자연어 표현을 모두 포함합니다. 사고(thinking) 기능을 비활성화하거나 최소화한 8개 모델 구성 전반에서 불리언 정확도는 48.52%에서 50.57%에 그쳤고, 식별 정확도는 최대 43.0%에 불과했습니다. 사고 기능을 활성화한 GLM 모델 구성의 경우 불균등한 성능 향상을 보였으나 상당한 오류와 불일치는 여전히 지속되었습니다. Hob-VL은 실행 가능한 참조 답변과 정합된 평가를 통해 이러한 실패 사례들을 드러냅니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to AACL 2026 (Findings)