arXiv:1806.08723

Keypoint Transfer for Fast Whole-Body Segmentation

Christian Wachinger, Matthew Toews, Georg Langs, William Wells, Polina Golland

제출 2018-06-22

원문 초록

We introduce an approach for image segmentation based on sparse correspondences between keypoints in testing and training images. Keypoints represent automatically identified distinctive image locations, where each keypoint correspondence suggests a transformation between images. We use these correspondences to transfer label maps of entire organs from the training images to the test image. The keypoint transfer algorithm includes three steps: (i) keypoint matching, (ii) voting-based keypoint labeling, and (iii) keypoint-based probabilistic transfer of organ segmentations. We report segmentation results for abdominal organs in whole-body CT and MRI, as well as in contrast-enhanced CT and MRI. Our method offers a speed-up of about three orders of magnitude in comparison to common multi-atlas segmentation, while achieving an accuracy that compares favorably. Moreover, keypoint transfer does not require the registration to an atlas or a training phase. Finally, the method allows for the segmentation of scans with highly variable field-of-view.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20326v1cs.CV공통 태그 Image Segmentation, Segmentation, Semantic Segmentation

신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리

Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout

RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.