이미지 분류기로서의 멀티모달 대규모 언어 모델(MLLM)
Multimodal Large Language Models as Image Classifiers
한국어 초록
멀티모달 대규모 언어 모델(MLLM)의 분류 성능은 평가 프로토콜과 정답(ground truth) 품질에 크게 의존한다. MLLM을 지도학습 모델 및 비전-언어 모델(VLM)과 비교한 연구들은 서로 상충하는 결론을 보고하는데, 우리는 이러한 상충이 성능을 과장하거나 과소평가하는 프로토콜에서 비롯됨을 보인다. 가장 흔히 사용되는 평가 프로토콜 전반에서, 우리는 핵심 문제들을 식별하고 수정한다: 제공된 클래스 목록 범위를 벗어나 폐기되는 모델 출력, 약한 객관식 오답지(distractor)로 인한 과장된 결과, 그리고 부실한 출력 매핑으로 인해서만 성능이 저하되는 개방형(open-world) 설정이 그것이다. 추가로 우리는 흔히 간과되는 설계 선택들 - 배치 크기, 이미지 순서, 텍스트 인코더 선택 - 의 영향을 정량화하여, 이들이 정확도에 상당한 영향을 미친다는 것을 보인다. ImageNet-1k의 625개 클래스에 대한 우리의 다중 레이블 재주석(multilabel reannotation)인 ReGT로 평가한 결과, MLLM은 수정된 레이블로부터 가장 큰 이득(최대 +10.8%)을 얻으며, 지도학습 모델과의 인지된 격차를 크게 좁히는 것으로 나타났다. 따라서 보고된 MLLM의 분류 성능 저하의 상당 부분은 모델 자체의 결함이 아니라 잡음이 많은 정답(ground truth)과 결함 있는 평가 프로토콜에서 비롯된 인공물(artifact)이다. 지도학습 신호에 덜 의존하는 모델일수록 주석(annotation) 품질에 더 민감한 것으로 나타났다. 마지막으로, 우리는 MLLM이 사람 주석자(annotator)를 보조할 수 있음을 보인다: 통제된 사례 연구에서, 주석자들은 어려운 사례의 약 50%에서 MLLM의 예측을 확인하거나 통합하였으며, 이는 대규모 데이터셋 구축(curation)에 대한 가능성을 보여준다. 본 연구는 Aiming for Perfect ImageNet-1k 프로젝트의 일부이며, 자세한 내용은 https://klarajanouskova.github.io/ImageNet/ 에서 확인할 수 있다.
원문 초록
Multimodal Large Language Model (MLLM) classification performance depends critically on evaluation protocol and ground truth quality. Studies comparing MLLMs with supervised and Vision-Language Models (VLMs) report conflicting conclusions, and we show these conflicts stem from protocols that either inflate or underestimate performance. Across the most common evaluation protocols, we identify and fix key issues: model outputs that fall outside the provided class list and are discarded, inflated results from weak multiple-choice distractors, and open-world setting that underperforms only due to poor output mapping. We additionally quantify the impact of commonly overlooked design choices - batch size, image ordering, and text encoder selection - showing they substantially affect accuracy. Evaluating on ReGT, our multilabel reannotation of 625 ImageNet-1k classes, reveals that MLLMs benefit most from corrected labels (up to +10.8%), substantially narrowing the perceived gap with supervised models. Much of the reported MLLM underperformance on classification is thus an artifact of noisy ground truth and flawed evaluation protocol rather than genuine model deficiency. Models less reliant on supervised training signals prove most sensitive to annotation quality. Finally, we show that MLLMs can assist human annotators: in a controlled case study, annotators confirmed or integrated MLLM predictions in approximately 50% of difficult cases, demonstrating their potential for large-scale dataset curation. This work is part of the Aiming for Perfect ImageNet-1k project, see https://klarajanouskova.github.io/ImageNet/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹
Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets
멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.
연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가
Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification
최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.
Generative Adversarial Minority Oversampling for Spectral-Spatial Hyperspectral Image Classification
Attention-Based Adaptive Spectral-Spatial Kernel ResNet for Hyperspectral Image Classification
Image and Text fusion for UPMC Food-101 \\using BERT and CNNs
Multi-direction Networks with Attentional Spectral Prior for Hyperspectral Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.