arXiv:2508.13680v5 cs.CL

VMMU: 베트남어 다중 과제 다중 모달 이해 및 추론 벤치마크

VMMU: A Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark

Vy Tuong Dang, An Vo, Emilio Villa-Cueva, Quang Tau, Duc Dm, Thamar Solorio, Daeyoung Kim

제출 2026-09-24

한국어 초록

본 논문은 VMMU(Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark)를 소개한다. VMMU는 영어를 넘어 비전-언어 모델(VLM)이 시각 및 텍스트 정보를 해석하고 추론하는 방식을 평가하기 위해 설계된 베트남어 다중 과제 다중 모달 이해 및 추론 벤치마크이다. VMMU는 7개 과제에 걸쳐 2.5k개의 다중 모달 질문으로 구성되며, STEM 문제 해결, 데이터 해석, 규칙 기반 시각 추론, 추상적 시각 추론 등 다양한 문제 맥락을 포함한다. 모든 질문은 텍스트만의 단서나 OCR 기반 지름길에 의존하기보다 진정한 다중 모달 통합을 요구한다. VMMU에서 최신(state-of-the-art) 독점 및 오픈소스 VLM 다양한 집합을 평가하였다. 강력한 베트남어 OCR 성능에도 불구하고, 독점 모델은 평균 정확도 66%에 그쳤다. 추가 분석에 따르면 실패의 주된 원인은 OCR이 아니라 텍스트 및 시각적 증거에 대한 다중 모달 그라운딩과 추론이다. 코드와 데이터는 https://vmmu-bench.github.io/ 에서 제공된다.

원문 초록

We introduce VMMU, a Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark designed to evaluate how vision-language models (VLMs) interpret and reason over visual and textual information beyond English. VMMU consists of 2.5k multimodal questions across 7 tasks, covering a diverse range of problem contexts, including STEM problem solving, data interpretation, rule-governed visual reasoning, and abstract visual reasoning. All questions require genuine multimodal integration, rather than reliance on text-only cues or OCR-based shortcuts. We evaluate a diverse set of state-of-the-art proprietary and open-source VLMs on VMMU. Despite strong Vietnamese OCR performance, proprietary models achieve only 66% mean accuracy. Further analysis shows that the primary source of failure is not OCR, but instead multimodal grounding and reasoning over text and visual evidence. Code and data are available at https://vmmu-bench.github.io/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2508.13680v5제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering, Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.13722v1cs.CL공통 태그 Question Answering, Multi-Task Learning

지식 그래프 기반 멀티태스크 사전학습을 통한 사전학습 언어 모델의 법률 추론 능력 향상

Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training

법률 언어 이해는 반정형 규제 문서에 대한 추론을 요구하지만, 표준 사전학습(pre-training) 목표는 이러한 구조적 역량을 명시적으로 겨냥하지 않습니다. 현재의 법률 언어 모델은 마스크 언어 모델링에만 의존하기 때문에, 법령 텍스트를 단순한 평면 토큰(token) 시퀀스로 취급하고 그 이면에 있는 계층적 제약 조건을 무시합니다. 이러한 격차를 해소하기 위해 본 연구에서는 독일 도로교통법(StVO)을 대상으로 한 멀티태스크 사전학습 방식을 제시합니다. 우리의 접근법은 다음 문장 예측(NSP), 지식 그래프(KG) 기반 클러스터링(CLU), 그리고 지식 그래프 인식 단락 분류(CLS)라는 세 가지 상호보완적인 목표를 결합합니다. 이 접근법은 구조화된 법률 지식을 모델 가중치에 직접 명시적으로 인코딩합니다. 이러한 인코딩을 통해 추론(inference) 시점에 제로샷(zero-shot) 법률 추론이 가능해지며 이산적인 그래프 순회의 필요성을 없앱니다. 우리는 9개의 트랜스포머(Transformer) 기반 인코더와 324회의 실험적 실행을 통해 제안 방식을 평가합니다. 합성 StVO 질의응답에서 본 연구의 모델은 베이스라인 대비 10.3%에서 155.0% 사이의 일관된 상대적 성능 향상을 보여줍니다. 나아가 기존에 확립된 LexGLUE 베이스라인(Chalkidis et al., 2022)과 비교하여 7개 법률 벤치마크 중 4개에서 이전 결과를 개선합니다. 또한 오스트리아 운전 규정에 대해서도 3.4%에서 15.8% 사이의 일관된 제로샷 전이 이득을 달성합니다. 이러한 실험 결과는 우리의 학습(training) 방식이 초기 학습 법률 도메인을 넘어 성공적으로 일반화됨을 나타냅니다.

arXiv:2610.13790v1cs.CV공통 태그 Benchmarking, Visual Question Answering

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2610.01780v3cs.AI공통 태그 Question Answering, Benchmarking

RealCompanion: 장기적 실제 대화 추론을 통한 인간 이해 벤치마킹

RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations

수개월 동안 대화를 나누는 AI 컴패니언은 상대를 이해할 수 있어야 합니다. 상대가 누구인지 알고, 그들이 한 말을 기억하며, 과거의 내용이 현재 중요한 순간을 인식할 수 있어야 합니다. 이를 평가하기 위해서는 실제 대화가 필요하지만, 실제 대화는 사적인 영역이므로 기존 벤치마크들은 가상의 인물과 가상의 질문을 사용해 왔습니다. 본 연구에서는 실제 사람들과 AI 컴패니언 간의 10가지 실제 관계를 바탕으로, 최대 120일에 걸친 27,218개의 메시지를 담은 RealCompanion을 공개합니다. 각 인물에 대해 전체 대화, 프로필, 페르소나, 채팅 테스트 항목, 질문 테스트 항목을 제공합니다. 모든 라벨은 이를 뒷받침하는 메시지를 가리키며, 모든 채팅 라벨에는 이를 도출한 추론 과정이 함께 제공됩니다. 실제 데이터는 세 가지 사실을 보여줍니다. 첫째, 사람들은 과거를 직접 언급하는 경우가 드뭅니다. 이전 발언에 의존하는 메시지는 전체의 3.4%에 불과하며, 의존하더라도 해당 이전 메시지는 대개 매우 먼 시점(중앙값 기준 2,157개 이전 메시지)에 위치합니다. 평균치는 이러한 사실을 가립니다. 가장 최근 메시지만을 살피면 전체적으로는 필요한 메시지를 95.9% 찾아내지만, 과거 멀리 떨어진 메시지의 경우에는 2.2%에 불과합니다. 둘째, AI 시스템은 과거가 중요한 시점을 구분하지 못합니다. 테스트된 탐지기들은 실제 메시지에서 무작위 확률 수준을 간신히 넘겼으며, 동일한 이전 메시지에 '이전 메시지' 대신 '기억'이라는 라벨이 붙으면 모델은 과거 정보가 전혀 필요하지 않은 상황에서도 과거를 10~14%포인트 더 자주 언급했습니다. 셋째, AI 시스템은 상대방이 드러낸 것 이상으로 과도하게 해석합니다. 세 가지 에이전트(agent) 시스템은 각 페르소나를 동등한 수준(F1 0.71)으로 재구성하지만, 상대방을 파악한 뒤 그 이상을 상상해 냅니다. 한 사람을 이해하는 것은 그들의 과거가 언제 중요한지, 그리고 그들이 공유한 내용의 경계가 어디까지인지를 아는 것에 달려 있으며, 이는 오직 실제 대화를 통해서만 평가할 수 있습니다.

arXiv:2610.03020v1cs.AI공통 태그 Question Answering, Benchmarking

DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크

DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users

장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.