arXiv:2108.11993

Evaluating Transformer-based Semantic Segmentation Networks for Pathological Image Segmentation

Cam Nguyen, Zuhayr Asad, Yuankai Huo

제출 2021-08-26

원문 초록

Histopathology has played an essential role in cancer diagnosis. With the rapid advances in convolutional neural networks (CNN). Various CNN-based automated pathological image segmentation approaches have been developed in computer-assisted pathological image analysis. In the past few years, Transformer neural networks (Transformer) have shown the unique merit of capturing the global long-distance dependencies across the entire image as a new deep learning paradigm. Such merit is appealing for exploring spatially heterogeneous pathological images. However, there have been very few, if any, studies that have systematically evaluated the current Transformer-based approaches in pathological image segmentation. To assess the performance of Transformer segmentation models on whole slide images (WSI), we quantitatively evaluated six prevalent transformer-based models on tumor segmentation, using the widely used PAIP liver histopathological dataset. For a more comprehensive analysis, we also compare the transformer-based models with six major traditional CNN-based models. The results show that the Transformer-based models exhibit a general superior performance over the CNN-based models. In particular, Segmenter, Swin-Transformer and TransUNet-all transformer-based-came out as the best performers among the twelve evaluated models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20326v1cs.CV공통 태그 Image Segmentation, Segmentation, Semantic Segmentation

신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리

Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout

RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.