ORGANIC3D: 장기 수준의 영상-텍스트 결합에 3D CT 비전 언어 모델을 기반시키기
ORGANIC3D: Grounding 3D CT Vision Language Models in Organ Level Image Text Coupling
한국어 초록
비전 언어 모델(VLM)은 3D 컴퓨터 단층촬영(CT) 분류에서 강력한 성능을 달성했지만, 높은 정확도가 예측이 올바른 해부학적 증거에 의존하는지를 반영하지는 않는다. 우리는 통제된 해부학적 개입을 통해 장기 수준의 영상-텍스트 정렬을 평가하고 개선하기 위한 프레임워크인 ORGANIC3D를 소개한다. 우리의 벤치마크는 짝지어진 환자 비교, 장기 제거, 병변 대체, 좌우 방향 교란을 이용하여 12개의 비전 인코더 체크포인트와 7개의 생성형 VLM을 평가하며, 최상위 성능 모델에서도 상당한 정렬 실패가 있음을 드러낸다. 장기 수준의 영상-텍스트 대응을 학습하기 위해 ORGANIC3D는 각 소견 문장을 해부학 인식 영상 특징과 정렬하고, 편집된 스캔으로 학습하여 이 정렬을 해당 장기의 영상 증거에 고정한다. 우리는 이 프레임워크를 생성형 VLM으로 확장하여 증거에 의존하는 질의응답과 보고서 생성을 촉진한다. 공개 데이터만으로 학습한 ORGANIC3D는 CTRATE, Merlin, 그리고 보류된 RADChestCT 데이터셋에서 SOTA 분류 AUROC를 달성하며, 기존 모델의 최대 66%에 비해 77%의 좌우 방향 정확도에 도달한다. 이 생성형 VLM은 시각적 질의응답에서 평가된 모든 공개 VLM과 동등하거나 이를 능가하고, 가장 높은 보고서 정확도를 달성하며, 장기 제거 후 대상 장기 소견의 96~99%를 철회하는 반면 다른 모델은 최대 69%이다. 이러한 결과는 종합적으로 ORGANIC3D가 3D CT 비전 언어 모델이 예측을 해부학적 증거에 근거하는지를 시험하고 예측 정확도와 함께 장기 수준의 정렬을 개선하기 위한 프레임워크임을 입증한다.
원문 초록
Vision language models (VLMs) have achieved strong performance in 3D computed tomography (CT) classification, but high accuracy does not reflect whether their predictions rely on the correct anatomical evidence. We introduce ORGANIC3D, a framework for evaluating and improving organ level image text alignment through controlled anatomical interventions. Our benchmark assesses 12 vision encoder checkpoints and 7 generative VLMs using matched patient comparisons, organ erasure, lesion replacement, and laterality perturbations, revealing substantial alignment failures even among top performing models. To learn organ level image text correspondence, ORGANIC3D aligns each finding sentence with the anatomy aware image features and trains on edited scans to anchor this alignment in the organ's image evidence. We further extend this framework to generative VLMs, promoting evidence dependent question answering and report generation. Trained exclusively on public data, ORGANIC3D achieves SOTA classification AUROC on CTRATE, Merlin, and the heldout RADChestCT dataset and reaches 77% laterality accuracy, compared with at most 66% for prior models. Its generative VLM matches or exceeds all evaluated publicly released VLMs on visual question answering, achieves the highest report accuracy, and retracts 96 to 99% of target organ findings after organ removal, versus a maximum of 69% for other models. Together, these results establish ORGANIC3D as a framework for testing whether 3D CT vision language models ground their predictions in anatomical evidence and for improving organ level alignment alongside predictive accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23529v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.