MMBU: 비전-언어 모델의 지각 능력을 검증하기 위한 대규모 멀티모달 생물의학 이해 벤치마크
MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models
비전-언어 모델(VLM)은 흉부 X-ray에서 병변을 검출하는 것부터 현미경에서 세포 특징을 프로파일링하는 것까지, 생물의학 영상 워크플로를 변화시킬 엄청난 잠재력을 지니고 있다. 그러나 이러한 잠재력을 실현하려면 견고하고 세밀한 시각적 지각(perception)이 필요하다. 모델은 이미지의 미묘한 특징을 올바르게 해석해야 하며, 다양한 생물의학 영상 모달리티, 규모, 맥락에서 그렇게 해야 한다. 그럼에도 불구하고 현재 벤치마크는 여전히 제한적이다. 이러한 격차를 해소하기 위해, 우리는 대규모 멀티모달 생물의학 이해(MMBU) 벤치마크를 제안한다. 이는 지금까지의 최대 규모 생물의학 비전-언어 벤치마크로, 풍부한 구조화 메타데이터와 함께 35개 하위 모달리티를 포괄한다. 언그라운딩 분류(ungrounded classification), 그라운딩 분류(grounded classification), 객체 검출의 공개 및 비공개 버전을 모두 포함하여, 생물학적 규모, 임상 설정, 영상 모달리티 전반에 걸친 모델 성능의 체계적 평가(evaluation)를 가능하게 한다. 15개의 오픈웨이트(open-weight) 및 2개의 프론티어 VLM을 평가한 결과, 의료 적응(adaptation)이 일부 모델에 대해 측정 가능한 향상을 제공하는 반면, 기존 벤치마크에서 종종 보고되는 높은 정확도는 시각적 지각과 도메인 일반화(domain generalization)의 결함을 가릴 수 있음을 확인했다.