nnUNet RASPP for Retinal OCT Fluid Detection, Segmentation and Generalisation over Variations of Data Sources
원문 초록
Retinal Optical Coherence Tomography (OCT), a noninvasive cross-sectional scan of the eye with qualitative 3D visualization of the retinal anatomy is use to study the retinal structure and the presence of pathogens. The advent of the retinal OCT has transformed ophthalmology and it is currently paramount for the diagnosis, monitoring and treatment of many eye pathogens including Macular Edema which impairs vision severely or Glaucoma that can cause irreversible blindness. However the quality of retinal OCT images varies among device manufacturers. Deep Learning methods have had their success in the medical image segmentation community but it is still not clear if the level of success can be generalised across OCT images collected from different device vendors. In this work we propose two variants of the nnUNet [8]. The standard nnUNet and an enhanced vision call nnUnet_RASPP (nnU-Net with residual and Atrous Spatial Pyramid Pooling) both of which are robust and generalise with consistent high performance across images from multiple device vendors. The algorithm was validated on the MICCAI 2017 RETOUCH challenge dataset [1] acquired from 3 device vendors across 3 medical centers from patients suffering from 2 retinal disease types. Experimental results show that our algorithms outperform the current state-of-the-arts algorithms by a clear margin for segmentation obtaining a mean Dice Score (DS) of 82.3% for the 3 retinal fluids scoring 84.0%, 80.0%, 83.0% for Intraretinal Fluid (IRF), Subretinal Fluid (SRF), and Pigment Epithelium Detachments (PED) respectively on the testing dataset. Also we obtained a perfect Area Under the Curve (AUC) score of 100% for the detection of the presence of fluid for all 3 fluid classes on the testing dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
해부학적 연속성 보존: 3차원 복부 CT 영상 내 대장 분할을 위한 3단계 파이프라인
Preserving Anatomical Continuity: Three-Stage Pipeline for Colon Segmentation in 3D Abdominal CT Scans
CT 영상에서 정확한 대장 분할(colon segmentation)은 대장 질환 분석에 필수적이지만, 복잡한 해부학적 구조로 인해 심층 학습(deep learning) 기반 방법론은 종종 단절된 예측 결과를 생성합니다. 본 연구에서는 이러한 문제를 해결하기 위해 위상학적 특성을 보존하는 3단계 분할 파이프라인을 제안합니다. 첫 번째 단계에서는 심층 학습 기반의 초기 분할을 수행하고, 이어지는 중심선 연결(centreline bridging)을 통해 단절된 영역들을 다시 연결하며, 재구성 단계에서는 연속성을 정제합니다. TotalSegmentator 및 RAOS 데이터셋에서 중첩, 거리, 위상학 기반 지표를 사용하여 평가를 진행한 결과, 분할 정확도를 유지하면서도 구조적 일관성이 향상됨을 입증했습니다. 제안된 방법은 위상학적 무결성을 향상시켜 임상 및 연구 분야에서 더욱 신뢰성 높은 대장 분할을 가능하게 합니다.
자기공명영상 분할을 위한 다중 해상도 특징 융합 U-Net
Multi-Resolution Feature Fusion U-Net for Magnetic Resonance Imaging Segmentation
의료 영상, 특히 MRI 스캔에서 해부학적 구조를 분할하는 것은 임상 진단과 질병 진행 모니터링에 필수적이다. U-Net 및 그 확장 모델과 같은 심층 학습(Deep Learning, DL) 아키텍처는 의료 이미지 분할 작업에서 매우 효과적이지만, 미세한 세부 정보와 전역적인 맥락 정보를 동시에 보존하는 데 어려움을 겪는 경우가 많다. 이는 해부학적 구조가 불규칙한 경계와 형태, 대비, 크기의 변동을 특징으로 하는 MRI 데이터 분할에서 특히 어려운 문제이다. 이러한 문제를 해결하기 위해, 우리는 서로 다른 해부학적 구조에 대한 MRI 분할을 위한 새로운 DL 아키텍처를 제안한다. 구체적으로, 이 아키텍처는 임의의 U-Net 유사 아키텍처에 쉽게 통합될 수 있는 다중 해상도 특징 융합(Multi-Resolution Feature Fusion, MRFF)이라는 모듈을 도입한다. MRFF는 어텐션(attention) 메커니즘 및 스킵 연결(skip connection)과 함께 인코더-디코더 구조의 모든 레벨에 통합되어 여러 해상도에서 특징을 추출함으로써, 모델이 미세한 세부 정보와 전역적인 맥락 정보를 모두 포착할 수 있게 한다. 우리는 서로 다른 해부학적 대상에 대한 두 가지 공개 벤치마크 MRI 데이터셋에서 MRFFU-Net을 평가하였다; 하나는 척추 MR 스캔에서의 뇌척수액(Cerebrospinal Fluid, CSF) 분할이고, 다른 하나는 Medical Segmentation Decathlon(MSD) 챌린지에서 제공하는 좌심방(left atrium) 심장 분할이다. 실험 결과는 MRFFU-Net이 여러 평가 지표에서 최신(state-of-the-art) 모델들을 능가하며, MRI 분할에서의 효과성을 입증함을 보여준다.
임상 배포된 흉부 방사선치료 자동 윤곽선 추출을 위한 해부학적 변화 인식 양방향 선택적 상태 공간 메모리
Anatomy-Change-Aware Bidirectional Selective State-Space Memory for Clinically Deployed Thoracic Radiotherapy Auto-Contouring
우리는 방사선치료 자동 윤곽선 추출에서 지속되어 온 세 가지 문제, 즉 슬라이스 간 표면 불일치, 저대조 소형 표적에 대한 체계적인 실패, 그리고 증례별 신뢰도 신호의 부재를 해결하는 흉부 위험장기(OAR) 및 표적 체적 분할을 위한 2.5D 아키텍처 DAMM-Net++을 개발했다. 핵심 구성 요소는 평면 간(through-plane) 해부학적 변화를 모델링하고 축상 슬라이스 시퀀스를 따라 컨텍스트를 선택적으로 전파하는 해부학적 변화 인식 양방향 선택적 상태 공간 메모리이다. 경계 인식 디코더는 표면 인근 예측을 선명하게 하며, 불확실성 헤드는 임상 분류(triage)를 위한 보정된 복셀 단위 신뢰도를 제공한다. 우리는 4개 기관에 걸친 2,146명의 환자, 독립적인 외부 코호트 112명, 그리고 305개 증례에 대해 17명의 방사선종양학과 전문의가 참여한 다기관 판독자 연구를 통해 모델을 평가했다. 모델은 평균 Dice 0.955와 HD95 3.78mm를 달성했으며, 평면 간 컨텍스트가 가장 중요한 저대조 위험장기(OAR) 및 표적 체적에서 가장 큰 개선을 보였다. 불확실성 헤드는 잘 보정되어 있으며 증례 단위 분류를 지원한다. 판독자 연구에서 AI 보조는 경력 수준 전반에 걸쳐 윤곽선 추출 시간을 75~80% 단축시켰고, 주니어 판독자의 IoU를 0.861에서 0.925로 향상시켜 수정되지 않은 모델 수준에 도달했다. 외부 검증에서는 내부 대비 외부 성능의 소폭 하락(<5%)이 나타났으며, 보정된 불확실성은 재보정 없이도 전이되었다. DICOM 수집부터 TPS 호환 RTSTRUCT 내보내기에 이르는 전체 배포 파이프라인이 협력 병원의 임상 워크플로우에 통합되어 윤곽선 추출을 보조하는 데 사용되고 있다. 이러한 결과는 해부학적으로 동기화된 슬라이스 간 메모리가 불확실성 기반 검토와 결합될 때 흉부 자동 윤곽선 추출을 위한 임상적으로 실현 가능한 경로를 제공함을 시사한다.
관상동맥 조영술 영상 기반 SYNTAX 점수 산정을 위한 임상 워크플로우 모델링
Modeling Clinical Workflow for SYNTAX Scoring from Coronary Angiography Videos
SYNTAX 점수는 관상동맥 질환(coronary artery disease)에서 해부학적 병변 복잡도를 평가하고 후속 치료 방침을 결정하는 데 임상적으로 확립된 도구이다. 그러나 자동화된 SYNTAX 점수 산정은 일반적으로 관상동맥 조영술 영상으로부터 환자 단위 점수로의 직접 회귀 문제로 정식화되어 왔다. 본 연구에서는 SYNTAX 점수 산정을 혈관 분절(vessel segment) 정체성을 보존하는 해부학적 추론 문제로 재정식화하고, 학습 과정을 임상 워크플로우와 명시적으로 정렬시키는 계층적 모델링 프레임워크를 제안한다. 본 접근법은 프레임과 뷰(view) 전반에 걸쳐 혈관 분절의 정체성을 유지하고, 분절 단위로 협착(stenosis) 중증도를 추정하며, 관상동맥 해부구조에 따라 증거를 계층적으로 집계한다. 동시에, 도메인 특화 데이터의 부족 문제를 해결하기 위해 여러 공개 관상동맥 조영술 데이터셋(dataset)을 통합 및 보완하여, 완성된 혈관 분할(segmentation)과 이로부터 도출된 구조적 주석을 포함하는 대규모 리소스를 구축하였다. 실험 결과, 혈관 분절 단위의 협착 임베딩(embedding)이 기준선(baseline) 모델 대비 설명력을 향상시키고 예측 변동성을 감소시키는 것으로 나타났으며, R^2 점수는 0.201 향상되고 dev STD는 18.4% 감소하였다. 이러한 결과는 다중 뷰 관상동맥 조영술 영상으로부터 신뢰할 수 있고 안정적인 자동화된 SYNTAX 점수 산정을 위해 구조 정렬 모델링이 필요함을 보여준다. GitHub 링크는 https://github.com/VersaceSu7/SYNTAX_score_777 이다.
ASTRA-Net: 약물 유도 수면 내시경 분할을 위한 해부학 특이적 전이 및 표현 정렬
ASTRA-Net: Anatomy-Specific Transfer and Representation Alignment for Drug-Induced Sleep Endoscopy Segmentation
정량적 약물 유도 수면 내시경(DISE)은 특정 해부학적 수준에서 신뢰할 수 있는 기도 경계가 필요하다. 픽셀 수준 DISE 주석은 희소하며, 수동 윤곽선 추출은 정량 평가의 확장성을 제한한다. 이러한 한계를 해결하기 위해, 우리는 제한된 실제 주석을 갖춘 알려진 평면 DISE 분할을 위한 ASTRA-Net을 개발했다. 1단계에서는 컴퓨터 단층촬영(computed tomography)에서 파생된 14,250개의 레이블 없는 가상 내시경 프레임과 실제 DISE 프레임으로부터 ConvNeXt-Base의 중간 표현을 정렬했다. 가상 이미지는 특징 정렬에만 사용되었다. 2단계에서는 401개의 실제 주석 프레임에 대해 네 개의 독립적인 UNet++ 디코더를 파인튜닝했다. 구조화된 제로 마스크 지도(structured zero-mask supervision)는 호환되지 않는 평면 출력과 유효하지 않은 프레임을 제약했다. 여섯 가지 정렬 구성은 최대 평균 불일치(maximum mean discrepancy, MMD), 도메인 적대적 학습(domain adversarial learning), 또는 두 목적 함수를 모두 사용했다. 100개 프레임으로 구성된 홀드아웃 평가 세트에서, MMD만 사용하는 5모델 분할 앙상블은 평균 Dice 0.8927을 달성했으며, 95% 이미지 수준 부트스트랩 구간은 0.8631~0.9160이었다. 평균 교집합 대 합집합(intersection over union)은 0.8239였다. 동일한 정렬 구성의 분류 활성화 변형은 동일한 홀드아웃 프레임에서 제한된 4평면 top-1 정확도 0.92를 달성했다. 이러한 결과는 ASTRA-Net이 실제 주석이 제한적일 때 프레임 수준, 평면 특이적 DISE 경계 구분을 지원할 수 있음을 나타낸다.
Stitch-Inferencer: 파노라마 재구성을 통한 내시경 영상 분할 및 추적 향상
Stitch-Inferencer: Enhance Endoscopic Video Segmentation and Tracking via Panoramic Reconstruction
수술 영상 이해는 내비게이션 시스템의 기본이다. 내시경 지각은 제한된 시야(field-of-view)와 잦은 기구 가림으로 인해 자주 방해되며, 견고한 추론을 위해 시공간(spatio-temporal) 문맥이 필수적이다. 이러한 과제는 프레임 간 정보를 집계하는 영상 모델을 자극해 왔다. 그러나 기존 영상 모델은 과거 관측을 학습된 특징 표현에 암묵적으로 저장하는 경우가 많아, 종종 과제별 영상 학습, 상당한 주석 데이터, 증가된 계산 비용을 요구한다. 우리는 암묵적 특징 메모리를 명시적 이미지 공간 파노라마 캔버스로 대체하는 실시간, 모델 독립적(model-agnostic) 추론 프레임워크인 Stitch-Inferencer를 제안한다. 프레임 간 유효한 관측을 이어 붙임(stitching)함으로써 Stitch-Inferencer는 온라인·기구 없는(instrument-free) 시야에서 이전에 관측된 픽셀을 보존하여 유효 시야를 확장하고, 현재 프레임에서 일시적으로 가려지거나 존재하지 않는 영역에 직접 접근할 수 있게 한다. 다운스트림 분할 또는 추적 모델을 파노라마상의 컴팩트한 관심 영역(region of interest)에 적용하고, 그 예측을 현재 프레임으로 재투영(reproject)하여 기존 모델이 재학습 없이 장거리(long-range) 문맥을 활용할 수 있게 한다. 해부 구조(anatomy) 분할 및 포인트/박스 추적 실험은 실시간 처리량(throughput)을 유지하면서 다양한 베이스라인에서 일관된 개선을 보여준다. 스티칭 모듈만으로도 60 FPS 이상으로 동작하여, 계산 자원이 제한된 수술 중(intraoperative) 환경에서 내시경 지각을 향상시키는 실용적인 추론 시간(inference-time) 해결책을 제공한다. 소스 코드는 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.