Compositionally Equivariant Representation Learning
원문 초록
Deep learning models often need sufficient supervision (i.e. labelled data) in order to be trained effectively. By contrast, humans can swiftly learn to identify important anatomy in medical images like MRI and CT scans, with minimal guidance. This recognition capability easily generalises to new images from different medical facilities and to new tasks in different settings. This rapid and generalisable learning ability is largely due to the compositional structure of image patterns in the human brain, which are not well represented in current medical models. In this paper, we study the utilisation of compositionality in learning more interpretable and generalisable representations for medical image segmentation. Overall, we propose that the underlying generative factors that are used to generate the medical images satisfy compositional equivariance property, where each factor is compositional (e.g. corresponds to the structures in human anatomy) and also equivariant to the task. Hence, a good representation that approximates well the ground truth factor has to be compositionally equivariant. By modelling the compositional representations with learnable von-Mises-Fisher (vMF) kernels, we explore how different design and learning biases can be used to enforce the representations to be more compositionally equivariant under un-, weakly-, and semi-supervised settings. Extensive results show that our methods achieve the best performance over several strong baselines on the task of semi-supervised domain-generalised medical image segmentation. Code will be made publicly available upon acceptance at https://github.com/vios-s.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
해부학적 연속성 보존: 3차원 복부 CT 영상 내 대장 분할을 위한 3단계 파이프라인
Preserving Anatomical Continuity: Three-Stage Pipeline for Colon Segmentation in 3D Abdominal CT Scans
CT 영상에서 정확한 대장 분할(colon segmentation)은 대장 질환 분석에 필수적이지만, 복잡한 해부학적 구조로 인해 심층 학습(deep learning) 기반 방법론은 종종 단절된 예측 결과를 생성합니다. 본 연구에서는 이러한 문제를 해결하기 위해 위상학적 특성을 보존하는 3단계 분할 파이프라인을 제안합니다. 첫 번째 단계에서는 심층 학습 기반의 초기 분할을 수행하고, 이어지는 중심선 연결(centreline bridging)을 통해 단절된 영역들을 다시 연결하며, 재구성 단계에서는 연속성을 정제합니다. TotalSegmentator 및 RAOS 데이터셋에서 중첩, 거리, 위상학 기반 지표를 사용하여 평가를 진행한 결과, 분할 정확도를 유지하면서도 구조적 일관성이 향상됨을 입증했습니다. 제안된 방법은 위상학적 무결성을 향상시켜 임상 및 연구 분야에서 더욱 신뢰성 높은 대장 분할을 가능하게 합니다.
자기공명영상 분할을 위한 다중 해상도 특징 융합 U-Net
Multi-Resolution Feature Fusion U-Net for Magnetic Resonance Imaging Segmentation
의료 영상, 특히 MRI 스캔에서 해부학적 구조를 분할하는 것은 임상 진단과 질병 진행 모니터링에 필수적이다. U-Net 및 그 확장 모델과 같은 심층 학습(Deep Learning, DL) 아키텍처는 의료 이미지 분할 작업에서 매우 효과적이지만, 미세한 세부 정보와 전역적인 맥락 정보를 동시에 보존하는 데 어려움을 겪는 경우가 많다. 이는 해부학적 구조가 불규칙한 경계와 형태, 대비, 크기의 변동을 특징으로 하는 MRI 데이터 분할에서 특히 어려운 문제이다. 이러한 문제를 해결하기 위해, 우리는 서로 다른 해부학적 구조에 대한 MRI 분할을 위한 새로운 DL 아키텍처를 제안한다. 구체적으로, 이 아키텍처는 임의의 U-Net 유사 아키텍처에 쉽게 통합될 수 있는 다중 해상도 특징 융합(Multi-Resolution Feature Fusion, MRFF)이라는 모듈을 도입한다. MRFF는 어텐션(attention) 메커니즘 및 스킵 연결(skip connection)과 함께 인코더-디코더 구조의 모든 레벨에 통합되어 여러 해상도에서 특징을 추출함으로써, 모델이 미세한 세부 정보와 전역적인 맥락 정보를 모두 포착할 수 있게 한다. 우리는 서로 다른 해부학적 대상에 대한 두 가지 공개 벤치마크 MRI 데이터셋에서 MRFFU-Net을 평가하였다; 하나는 척추 MR 스캔에서의 뇌척수액(Cerebrospinal Fluid, CSF) 분할이고, 다른 하나는 Medical Segmentation Decathlon(MSD) 챌린지에서 제공하는 좌심방(left atrium) 심장 분할이다. 실험 결과는 MRFFU-Net이 여러 평가 지표에서 최신(state-of-the-art) 모델들을 능가하며, MRI 분할에서의 효과성을 입증함을 보여준다.
MetaFormer and CNN Hybrid Model for Polyp Image Segmentation
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
DEU-Net: Dual-Encoder U-Net for Automated Skin Lesion Segmentation
Rethinking Dual-Stream Super-Resolution Semantic Learning in Medical Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.