본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.
MLLM의 시각적 객체 수 세기(visual counting) 능력을 종합적으로 평가하기 위해, 의미적 계수·분석적 계수·강건성 테스트의 3단계 계층적 분류 체계로 구성된 HoloCount 벤치마크를 제안한다. 20개 이상의 최신 MLLM 평가 결과, 단순 지각 과제에서 논리적 추론 및 적대적 시나리오로 전환될수록 최상위 모델조차 수치 환각(hallucination) 등 성능이 크게 저하되는 한계가 확인되었다.
대규모 언어 모델(LLM)은 온라인 의료 상담에 점점 더 많이 배포되고 있으나, 기존 벤치마크는 실제 임상 진료와의 정합성이 낮다. 많은 벤치마크가 합성 대화나 환자 시뮬레이터에 의존하거나, 환자가 업로드한 의료 이미지를 생략하거나, 임상 품질을 제대로 반영하지 못하는 객관식 또는 어휘 중복 지표로 개방형 임상 응답을 평가한다. 본 논문에서는 전국 단위 중국 인터넷 병원에서 수집된 비식별화된 환자-의사 상호작용을 기반으로 구축한 멀티모달 온라인 의료 상담용 대규모 벤치마크인 MedRealMM을 소개한다. MedRealMM은 멀티모달 임상 도전 지점(MCCP, Multimodal Clinical Challenge Point) 추출 프레임워크를 활용하여 실제 상담 궤적에서 임상적으로 까다로운 순간을 식별하고, 이전의 텍스트-이미지 컨텍스트를 보존하면서 각각을 표준화된 다음 응답 생성 과제로 변환한다. 각 인스턴스에는 임상적으로 바람직한 행동에 보상을 부여하고 불안전하거나 근거 없거나 모순된 응답에 페널티를 부과하는, 의사가 정제한 사례별 루브릭이 함께 제공된다. 현재 공개된 버전은 64개 임상 과에 걸쳐 5,620개의 실세계 멀티모달 케이스를 포함한다. 텍스트 전용 시스템과 멀티모달 시스템을 포함하여 범용 및 의료 특화 LLM 19개를 평가한다. 결과에 따르면 이미지 정보는 신뢰할 수 있는 임상 성능에 매우 중요하며, 현재 최전선 모델들은 온라인 의사 응답 수준에 미치지 못한다. 일부 최전선 모델은 의사만큼 또는 그 이상의 긍정적 임상 기준을 충족하지만, 더 많은 부정적 기준을 유발하여 안전성에 민감한 오류 회피가 여전히 핵심 병목임을 나타낸다. MedRealMM은 실세계 온라인 상담에서 멀티모달 의료 추론을 평가하기 위한 현실적이고 재현 가능한 벤치마크를 제공한다. 데이터셋은 https://huggingface.co/datasets/jdh-algo/MedRealMM에서 Hugging Face를 통해 공개될 예정이다.
We introduce Office Comprehension Bench (OCB), the first public benchmark to jointly evaluate LLM systems on Word, Excel, and PowerPoint comprehension over native file formats (.docx, .xlsx, .pptx) and their variants. OCB consists of two tracks. File Fidelity Q&A tests structural and visual perception of office artifacts - tables, charts, embedded images, formulas, and app-specific elements such as headers, speaker notes, and named ranges. Domain Q&A tests expert-level reasoning grounded in real-world industry documents across 12 professional domains, with queries requiring multi-step analysis and synthesis across documents. Each reference answer is decomposed into atomic, binary-gradable claims, and an ensemble of LLM judges scores responses against each claim independently. Even the strongest frontier system in its default reasoning mode reaches only about 59.3% on Domain Q&A; increasing thinking depth within a tier does not move performance materially, while moving to a higher product tier yields modest gains. We release the dataset, evaluation tooling, judge prompt, and a public leaderboard.
정적 멀티모달 벤치마크의 시간적 노후화, 데이터 오염, 높은 유지보수 비용 문제를 해결하기 위해, 다중 에이전트 기반 자동화 파이프라인으로 구축된 지속 진화형 벤치마크 MMBench-Live를 제안한다. 원본 MMBench의 태스크 관련 시각적 패턴을 추출해 분포 일관성을 유지하면서 실시간 데이터를 수집·검증하는 방식으로, 약 30달러·1~2시간의 비용으로 5,900개의 새 평가 인스턴스를 생성하며 안정적인 모델 순위와 낮은 오염 신호를 달성했다.
18개 비전-언어 벤치마크의 시각 의존성 부족, 항목 포화, 이상 항목 문제를 진단하고, 텍스트 소거·포화·이상 탐지 3단계 필터링으로 7개 역량 차원 7,262문항의 MMGist를 구축했다. 27개 LVLM 실험에서 원본 23,250문항 대비 평가 항목을 69% 줄이면서 Spearman ρ=0.98로 순위를 유지하고 교차 모델 변별력을 78% 높였으며, Visual Logic이 체계적 약점으로 드러났다.
의료 비전-언어 모델(Med-VLM)은 강력한 전문가 수준의 성능을 달성하지만, 환자가 이해하기 쉬운 설명을 생성하는 능력은 아직 충분히 연구되지 않았다. 21세기 치료법(Cures Act)이 이제 진단 영상 결과에 대한 즉각적인 환자 접근을 의무화함에 따라, Med-VLM이 이 전문가-일반인 격차(Expert-Lay Gap)를 해소할 수 있는지 평가하는 것은 환자 교육과 공동 의사결정을 위해 시급하고 임상적으로 중요하다. 이를 위해 우리는 의료 일반인 언어 생성(Medical Lay Language Generation, MLLG)을 위한 최초의 대규모 멀티모달 벤치마크 및 평가 프레임워크인 MedLayXPlain을 제안한다. MedLayXPlain-122K는 공개적으로 이용 가능한 12개 원본 데이터셋의 8가지 영상 방식에 걸친 122,789개의 영역 그라운딩(region-grounded) 샘플을 제공하며, 각 샘플은 7개 의미 그룹, 43개 의미 유형, 2,411개 의료 개념에 걸친 3단계 통합 의학 언어 체계(Unified Medical Language System, UMLS) 온톨로지 계층에 고정된 전문가 및 일반인 캡션이 쌍을 이룬 의료 이미지로 구성된다. 일반인 캡션은 환자 중심 어휘 매핑, LLM 기반 제약 재작성, 그리고 환각(hallucination)을 방지하면서 의미적 동등성을 강제하는 교차 모델 시각 검증을 결합한 3단계 파이프라인인 계층적 온톨로지 검증 정제(Hierarchical Ontology-Verified Refinement, HOVER)를 통해 구성된다. 또한 표준 자연어 생성(NLG) 지표와 임상 판단 간의 낮은 상관관계를 해소하기 위해, 27B 검증기로부터 지식 증류(distillation)된 경량 3B 평가기 MedLayEval을 제안하며, 이는 5가지 임상적 근거가 있는 속성에 걸친 전문가-일반인 정렬(alignment)을 점수화한다. MedLayXPlain-122K에서 33개 VLM을 벤치마킹한 결과 체계적인 전문가-일반인 격차가 드러난다. 의료 VLM은 강력한 전문가 캡션 생성을 달성하지만 일반인 언어체(lay-register)에서 상당한 성능 저하를 겪는 반면, 범용 VLM은 더 접근하기 쉬운 언어를 생성하지만 임상적 정밀도(precision)가 부족하여, 어느 쪽의 현재 패러다임도 환자 대면 의사소통에 충분히 부합하지 않음을 확인한다.
대규모 비전-언어 모델(LVLM)의 최근 발전은 놀라운 멀티모달 인지 및 추론 능력을 보여주었습니다. 수많은 벤치마크가 전체적이거나 특정 작업 관점에서 LVLM을 평가했지만, 컴퓨터 비전의 근간인 정밀한 이미지 작업에 대한 능력은 여전히 충분히 이해되지 않았습니다. 이러한 격차를 해결하기 위해, 우리는 일반적인 객체 중심 도메인부터 전문 도메인까지 다양한 시나리오를 포괄하는 101만 개의 질문과 28만 개의 이미지를 담은 포괄적인 정밀 평가 벤치마크인 FG-BMK를 소개합니다. FG-BMK는 인간 지향 및 기계 지향 패러다임을 통해 대화 수준의 정밀 의미 인식과 특징(feature) 수준의 시각적 식별력을 공동으로 평가하여, LVLM의 실패가 불충분한 시각적 표현, 약한 시각-의미 그라운딩(grounding), 또는 제한된 정밀 지식에서 비롯되는지에 대한 진단적 분석을 가능하게 합니다. 다양한 대표적인 LVLM/VLM에 대한 광범위한 실험을 통해, 우리는 현재 LVLM이 여전히 부족한 정밀 인식기라는 것을 발견했으며, 실패는 시각적 표현, 의미 그라운딩, 모달리티 정렬, 그리고 범주 수준 지식의 얽힌 병목 현상에서 발생함을 확인했습니다. 우리는 정밀한 능력을 향상시키기 위한 학습(training) 설계 요인을 추가로 분석하고, 시각적 및 언어적 섭동(perturbation)이 LVLM 예측에 어떤 영향을 미치는지 조사합니다. 이러한 발견은 현재 LVLM의 한계에 대한 진단적 통찰을 제공하고, 정밀한 시각 작업을 위한 더 신뢰할 수 있는 LVLM을 개발하는 데 있어 미래의 데이터 구축 및 모델(model) 설계에 대한 지침을 제공합니다. 우리의 코드는 오픈 소스이며 https://fg-bmk.github.io/에서 확인할 수 있습니다.