DICOM 시리즈 분류를 위한 이미지와 메타데이터 통합 재고: 교차 어텐션과 딕셔너리 학습
Revisiting Integration of Image and Metadata for DICOM Series Classification: Cross-Attention and Dictionary Learning
DICOM 영상 시리즈의 자동 식별은 대규모 의료 영상 분석, 품질 관리, 프로토콜 표준화, 그리고 신뢰할 수 있는 후속 처리에 필수적이다. 그러나 DICOM 시리즈 분류는 이질적인 슬라이스 내용, 가변적인 시리즈 길이, 그리고 완전히 누락되거나 불완전하거나 일관성이 없는 DICOM 메타데이터로 인해 여전히 어려운 과제로 남아 있다. 우리는 이러한 모든 문제를 명시적으로 고려하면서 이미지 콘텐츠와 획득 메타데이터를 공동으로 모델링하는 엔드투엔드 멀티모달 프레임워크를 제안한다. (i) 이미지와 메타데이터는 모달리티 인지 모듈로 인코딩되며, 양방향 교차 모달 어텐션 메커니즘을 사용하여 융합된다. (ii) 메타데이터는 학습 가능한 특징 딕셔너리와 값 조건부 변조에 기반한 희소하고 결측 인지 인코더에 의해 처리된다. 이 접근법은 설계상 어떠한 형태의 결측치 대치도 필요로 하지 않는다. (iii) 시리즈 길이와 이미지 데이터 차원의 가변성은 등간격으로 샘플링된 슬라이스에 대해 동작하는 2.5D 시각 인코더와 어텐션을 통해 처리된다. 우리는 공개적으로 이용 가능한 Duke Liver MRI 데이터셋과 대규모 다기관 자체 코호트에서 제안된 접근법을 평가하며, 도메인 내 성능과 도메인 외 일반화를 모두 평가한다. 모든 평가 설정에서 제안된 방법은 관련된 이미지 전용, 메타데이터 전용, 멀티모달 2D/3D 베이스라인을 일관되게 능가한다. 결과는 메타데이터 희소성과 교차 모달 상호작용을 명시적으로 모델링하는 것이 DICOM 시리즈 분류의 견고성을 향상시킨다는 것을 보여준다.