arXiv:2412.05536

Comprehensive Evaluation of Multimodal AI Models in Medical Imaging Diagnosis: From Data Augmentation to Preference-Based Comparison

Cailian Ruan, Chengyue Huang, Yahe Yang

제출 2024-12-07

원문 초록

This study introduces an evaluation framework for multimodal models in medical imaging diagnostics. We developed a pipeline incorporating data preprocessing, model inference, and preference-based evaluation, expanding an initial set of 500 clinical cases to 3,000 through controlled augmentation. Our method combined medical images with clinical observations to generate assessments, using Claude 3.5 Sonnet for independent evaluation against physician-authored diagnoses. The results indicated varying performance across models, with Llama 3.2-90B outperforming human diagnoses in 85.27% of cases. In contrast, specialized vision models like BLIP2 and Llava showed preferences in 41.36% and 46.77% of cases, respectively. This framework highlights the potential of large multimodal models to outperform human diagnostics in certain tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.14343stat.CO공통 태그 Data Augmentation공식 코드 · Papers with Code

고차원 프로빗 회귀를 위한 데이터 증강 깁스 샘플러의 혼합 시간

Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression

우리는 베이지안 프로빗 회귀를 위한 널리 사용되는 데이터 증강 샘플러의 수렴 특성을 조사합니다. 로그 오목(log-concave) 타겟에 대한 깁스 샘플러의 최근 연구 결과를 활용하여, 관련 혼합 시간(mixing times)에 대해 쿨백-라이블러 발산(Kullback-Leibler divergence) 기준으로 간단하고 명시적인 비점근적 경계를 제공합니다. 이 경계는 설계 행렬과 사전 정밀도(prior precision)에 명시적으로 의존하며, 반응 벡터 전체에 대해 균일하게 성립합니다. 데이터 포인트의 수 $n$과 파라미터의 수 $p$가 모두 큰 경우, 통계적으로 흥미로운 다양한 영역(regimes)에 결과를 적용하여 분석합니다. 특히 $n,p\to\infty$에 따라 혼합 시간이 유계로 유지되는 시나리오와 그렇지 않은 시나리오를 식별합니다. 해당 결과는 (반응에 대한 최악의 경우 기준으로) 타이트(tight)함이 입증되었으며, 빠른 혼합(fast mixing)으로 이어짐이 증명 가능한 사전 분포(prior distributions) 선택에 대한 지침을 제공합니다. 결합 기법(coupling techniques)에 기반한 실증적 분석은 제안된 경계가 실제 관찰되는 행동을 예측하는 데 효과적임을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.