arXiv:2606.06696v1 cs.CV

MMBU: 비전-언어 모델의 지각 능력을 검증하기 위한 대규모 멀티모달 생물의학 이해 벤치마크

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Ryan Nayebi, Paola Avila, Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He 외 5명

제출 2026-06-04

한국어 초록

비전-언어 모델(VLM)은 흉부 X-ray에서 병변을 검출하는 것부터 현미경에서 세포 특징을 프로파일링하는 것까지, 생물의학 영상 워크플로를 변화시킬 엄청난 잠재력을 지니고 있다. 그러나 이러한 잠재력을 실현하려면 견고하고 세밀한 시각적 지각(perception)이 필요하다. 모델은 이미지의 미묘한 특징을 올바르게 해석해야 하며, 다양한 생물의학 영상 모달리티, 규모, 맥락에서 그렇게 해야 한다. 그럼에도 불구하고 현재 벤치마크는 여전히 제한적이다. 이러한 격차를 해소하기 위해, 우리는 대규모 멀티모달 생물의학 이해(MMBU) 벤치마크를 제안한다. 이는 지금까지의 최대 규모 생물의학 비전-언어 벤치마크로, 풍부한 구조화 메타데이터와 함께 35개 하위 모달리티를 포괄한다. 언그라운딩 분류(ungrounded classification), 그라운딩 분류(grounded classification), 객체 검출의 공개 및 비공개 버전을 모두 포함하여, 생물학적 규모, 임상 설정, 영상 모달리티 전반에 걸친 모델 성능의 체계적 평가(evaluation)를 가능하게 한다. 15개의 오픈웨이트(open-weight) 및 2개의 프론티어 VLM을 평가한 결과, 의료 적응(adaptation)이 일부 모델에 대해 측정 가능한 향상을 제공하는 반면, 기존 벤치마크에서 종종 보고되는 높은 정확도는 시각적 지각과 도메인 일반화(domain generalization)의 결함을 가릴 수 있음을 확인했다.

원문 초록

Vision and language models (VLMs) hold immense promise to transform biomedical imaging workflows, from detecting lesions in chest X-rays to profiling cellular features in microscopy. Realizing this potential, however, requires robust and fine-grained visual perception. Models need to correctly interpret subtle features in images, and they must do so across diverse biomedical modalities, scales, and contexts. Nevertheless, current benchmarks remain limited. To address these gaps, we introduce the Massive Multimodal Biomedical Understanding (MMBU) benchmark. It is the largest biomedical vision and language benchmark to date, covering 35 submodalities with rich structured metadata. It includes both open and closed versions of ungrounded classification, grounded classification, and object detection, enabling systematic evaluation of model performance across biological scales, clinical settings, and imaging modalities. Evaluating 15 open-weight and 2 frontier VLMs, we find that while medical adaptation provides measurable gains for some models, the high accuracy often reported on established benchmarks can mask deficiencies in visual perception and domain generalization.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06696v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15816v1cs.LG공통 태그 Classification, Medical Image Analysis

ML-CLAPPS: 클래스 우선순위화를 적용한 불균형 다중 레이블 학습을 위한 확률론적 프레임워크

ML-CLAPPS: A Probabilistic Framework for Imbalanced Multilabel Learning under Class Prioritization

실세계 데이터셋은 심각한 클래스 불균형을 보이는 경우가 많으며, 이는 특히 희귀 클래스에서 심층 학습(deep learning) 모델의 성능을 저하시킵니다. 이진 및 다중 클래스 환경에서는 불균형에 대한 연구가 활발히 이루어졌지만, 복잡한 레이블 동시 발생(co-occurrence)으로 인해 다중 레이블(multilabel) 문제에서는 훨씬 더 큰 난제가 됩니다. 심전도(ECG) 분류와 같은 임상 응용 분야에서는 이러한 난제와 함께 두 번째 결정적인 과제가 결부되는데, 이는 위음성(false negative)으로 인한 막대한 비용을 줄이기 위해 유병률과 무관하게 고위험 질환의 우선순위를 지정해야 한다는 점입니다. 본 연구에서는 학습 인스턴스에 대한 분포를 최적화하여 모델의 서로 다른 클래스에 대한 노출을 제어하는 학습 가능한 샘플러인 다중 레이블 클래스 우선순위화 확률론적 샘플러(Multilabel Class-Prioritized Probabilistic Sampler, ML-CLAPPS)를 소개합니다. 이 접근 방식은 다중 레이블 불균형을 해결하는 동시에 사용자 정의 중요도 벡터(importance vector, IV)를 통해 중요한 질환의 우선순위화를 가능하게 합니다. 실세계 다중 레이블 ECG 이미지 데이터셋을 사용한 실증적 평가는 ML-CLAPPS가 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 우리는 본 모델이 지정된 IV에 클래스 노출도를 일치시키며, 특정 클래스의 중요도를 높이면 해당 클래스의 분류 성능이 상응하여 향상됨으로써 임상적으로 중대한 질환의 명시적인 우선순위화가 가능함을 보여줍니다.

arXiv:2610.13440v1eess.AS공통 태그 Classification, Domain Generalization

DistilHuBERT를 활용한 악센트 분류 재고: 화자 분리 평가 및 말뭉치 간 일반화

Revisiting Accent Classification with DistilHuBERT: Speaker-Disjoint Evaluation and Cross-Corpus Generalization

최근 악센트 분류(accent classification) 시스템은 표준적인 코퍼스 내(in-corpus) 평가에서 높은 정확도를 달성할 수 있다. 그러나 학습 세트와 테스트 세트 간에 화자가 겹치는 경우, 이러한 결과는 실제 배포 시나리오와 비교하여 모델의 강건성(robustness)을 과대평가할 수 있다. 본 연구는 L2-ARCTIC과 여러 외부 영어 악센트 데이터셋을 활용하여 DistilHuBERT 기반 악센트 분류의 강건성을 재검토한다. 비교 대상에는 균형 잡힌 외부 데이터 학습(balanced external-data training) 및 교사-학생 의사 라벨링(teacher-student pseudo-labeling)과 더불어, 파일 단위(file-level) 분할 및 화자 분리(speaker-disjoint) 분할이 포함된다. 코퍼스 내 평가와 외부 평가 간의 큰 성능 격차는 파일 단위 평가가 성능을 상당히 과대평가하는 반면, 화자 분리 평가는 미확인 화자에 대한 일반화 성능을 보다 현실적으로 추정할 수 있음을 시사한다. 본 연구에서 외부 데이터만으로 학습된 모델은 L2-ARCTIC에 안정적으로 일반화되지 못했다. 테스트된 구성 중에서는 균형 잡힌 외부 데이터 학습이 가장 유망한 지도학습 설정을 제공한다. 나아가 의사 라벨링 실험은 도메인 불일치 상황에서 신뢰도 기반 필터링(confidence-based filtering)만으로는 불충분함을 보여준다. 전반적으로 본 연구는 강건한 악센트 분류 평가를 위해 화자 분리 평가와 말뭉치 간(cross-corpus) 테스트를 동시에 포함해야 함을 시사한다.

arXiv:2610.13466v1cs.CV공통 태그 Benchmarking, Domain Generalization

실세계 CAD 분할 벤치마크: 홀 검출을 통한 규칙 기반 접근법과 학습 기반 접근법 비교

A Real-World CAD Segmentation Benchmark: Comparing Rule-Based and Learning-Based Approaches through Hole Detection

CAD 분할(segmentation) 데이터셋은 대부분 합성 데이터이거나 자동으로 레이블링되어 있어, 기존 방법들이 실세계 엔지니어링 작업에 얼마나 잘 전이되는지는 명확하지 않다. 파스너(fastener) 관련 홀 검출(hole detection)은 그러한 작업 중 하나로, 사람에 의한 주석(annotation)이 필요하며 일반적으로 사용되는 벤치마크보다 더 큰 기하학적 복잡성을 보인다. 우리는 세 가지 주요 기여를 통해 이러한 격차를 다룬다. 첫째, 그래프-와이어 탐색(graph-wire-search) 기반 방법과 다중 뷰(multi-view) 기반 방법이라는 두 가지 과제 특화 규칙 기반(rule-based) 방법을 개발하고, 이를 엔지니어링 CAD 데이터로부터 도출된 사람이 주석을 단 벤치마크 데이터셋으로 보완하며, 이 데이터셋은 B-Rep 분할을 위한 대표적인 학습 기반(learning-based) 접근법인 UV-Net과 AAGNet의 학습도 가능하게 한다. 둘째, 매개변수(parameter) 최적화, 우리 벤치마크 데이터셋에 대한 평가, 합성 데이터셋에 대한 도메인 간 일반화(cross-domain generalisation), 그리고 다양한 데이터셋 크기와 IoU 임계값에서의 접근법의 실현 가능성 평가를 포함한 광범위한 실험 연구를 수행한다. 셋째, 서로 다른 접근법들의 강점과 한계에 대한 근거 기반 통찰을 제공한다: 규칙 기반 방법은 학습 데이터 없이도 잘 일반화되며, 그래프-와이어 탐색 방법은 재현율(recall)에서, 다중 뷰 방법은 정밀도(precision)에서 우위를 보이는 반면, 학습 기반 방법은 충분한 주석이 있을 때 강력한 성능을 달성하지만 도메인 시프트(domain shift) 상황에서는 강건성(robustness)이 떨어진다. 이러한 결과는 데이터 요구량과 강건성 사이의 트레이드오프(trade-off)를 보여주며, 홀 검출뿐만 아니라 더 넓게는 실세계 CAD 분할 작업 전반에 대한 지침을 제공한다.

arXiv:2610.13599v1cs.LG공통 태그 Classification, Medical Image Analysis

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.13644v1cs.LG공통 태그 Classification, Benchmarking

SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크

SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data

정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.

arXiv:2610.13675v1eess.IV공통 태그 Medical Image Analysis, Benchmarking

멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹

Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets

멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.