SpineMamba: Enhancing 3D Spinal Segmentation in Clinical Imaging through Residual Visual Mamba Layers and Shape Priors
원문 초록
Accurate segmentation of 3D clinical medical images is critical in the diagnosis and treatment of spinal diseases. However, the inherent complexity of spinal anatomy and uncertainty inherent in current imaging technologies, poses significant challenges for semantic segmentation of spinal images. Although convolutional neural networks (CNNs) and Transformer-based models have made some progress in spinal segmentation, their limitations in handling long-range dependencies hinder further improvements in segmentation accuracy.To address these challenges, we introduce a residual visual Mamba layer to effectively capture and model the deep semantic features and long-range spatial dependencies of 3D spinal data. To further enhance the structural semantic understanding of the vertebrae, we also propose a novel spinal shape prior module that captures specific anatomical information of the spine from medical images, significantly enhancing the model's ability to extract structural semantic information of the vertebrae. Comparative and ablation experiments on two datasets demonstrate that SpineMamba outperforms existing state-of-the-art models. On the CT dataset, the average Dice similarity coefficient for segmentation reaches as high as 94.40, while on the MR dataset, it reaches 86.95. Notably, compared to the renowned nnU-Net, SpineMamba achieves superior segmentation performance, exceeding it by up to 2 percentage points. This underscores its accuracy, robustness, and excellent generalization capabilities.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
망막 혈관 분할에서의 관찰자 선택과 임계값 선택: 피험자 분리 평가
Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation
분할 임계값(threshold)을 선택하는 데 사용되는 주석(annotation)은 평가 프로토콜의 일부이지만, 그 효과는 모델 품질과 쉽게 혼동된다. 우리는 CHASE DB1의 전체 28개 이미지와 두 명의 사람 주석자(human annotations) 모두를 사용하여 망막 혈관 분할에서 이러한 선택을 조사한다. 고정된 7-폴드(seven-fold) 프로토콜은 14명의 피험자 각각의 양쪽 눈을 함께 유지한다. 랜덤 포레스트(Random Forest)와 Extra Trees는 관찰자 1을 기준으로 세 개의 무작위 시드(random seed)로 학습되어 총 42개의 적합(fit) 결과를 산출했다. 다섯 가지 임계값 정책은 동일한 점수 맵(score map)을 공유한다: 고정값 0.50, 관찰자 1 튜닝, 관찰자 2 튜닝, 평균 관찰자 튜닝, 그리고 이미지별 낮은 관찰자 Dice의 맥시민(maximin) 튜닝. 랜덤 포레스트의 경우, 맥시민은 21개 적합 중 19개에서 임계값을 변경했지만, 최악 관찰자(worst-observer) Dice는 70.53%에서 70.45%로 감소했다. 쌍별 차이(paired difference)는 -0.073 퍼센트 포인트이며, 조건부 피험자 부트스트랩(subject-bootstrap) 95% 구간은 [-0.384, 0.238]이다. Extra Trees도 동일한 방향을 보인다. 동일한 관찰자-1 튜닝된 랜덤 포레스트 마스크는 관찰자 1 대비 73.66%, 관찰자 2 대비 71.06%의 점수를 기록했다. 이 결과는 임계값 선택 기준(reference)과 평가 기준 모두를 명시적으로 보고해야 한다는 것을 지지하지만, 이 코호트(cohort)에서 맥시민 튜닝으로 인한 정확도 향상을 지지하지는 않는다. 모든 분할(split), 원시 예측(raw prediction), 지표(metric) 및 코드가 함께 제공된다. AI의 도움을 받았음을 명시한다.
해부학적 연속성 보존: 3차원 복부 CT 영상 내 대장 분할을 위한 3단계 파이프라인
Preserving Anatomical Continuity: Three-Stage Pipeline for Colon Segmentation in 3D Abdominal CT Scans
CT 영상에서 정확한 대장 분할(colon segmentation)은 대장 질환 분석에 필수적이지만, 복잡한 해부학적 구조로 인해 심층 학습(deep learning) 기반 방법론은 종종 단절된 예측 결과를 생성합니다. 본 연구에서는 이러한 문제를 해결하기 위해 위상학적 특성을 보존하는 3단계 분할 파이프라인을 제안합니다. 첫 번째 단계에서는 심층 학습 기반의 초기 분할을 수행하고, 이어지는 중심선 연결(centreline bridging)을 통해 단절된 영역들을 다시 연결하며, 재구성 단계에서는 연속성을 정제합니다. TotalSegmentator 및 RAOS 데이터셋에서 중첩, 거리, 위상학 기반 지표를 사용하여 평가를 진행한 결과, 분할 정확도를 유지하면서도 구조적 일관성이 향상됨을 입증했습니다. 제안된 방법은 위상학적 무결성을 향상시켜 임상 및 연구 분야에서 더욱 신뢰성 높은 대장 분할을 가능하게 합니다.
DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론
DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians
3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.
FleXray: 범용 임상 X선 분할
FleXray: Universal Clinical X-ray Segmentation
X선(X-ray)은 의학 분야에서 가장 널리 사용되는 영상 양식이지만, 여전히 정량적 활용도가 가장 낮은 편에 속합니다. CT나 MRI 같은 볼륨(volumetric) 영상 양식과 달리 X선은 3차원 해부학적 구조를 2차원 투영으로 압축하므로 구조 간 중첩이 발생하고 전문가에게도 해부학적 경계가 모호해집니다. 그 결과, 범용 분할(segmentation) 시스템을 학습(training)하기 위해 X선 데이터베이스를 라벨링하는 것은 비현실적이며, 형태 계측 및 기능적 X선 분석은 좁은 해부학적 부위와 제한된 응용 분야에 국한되어 왔습니다. 이를 해결하기 위해 본 논문에서는 임상 X선에서 전신에 걸친 해부학적 분할을 수행하는 제너럴리스트 모델(generalist model)인 FleXray를 제시합니다. 대규모의 수동 주석 X선 데이터셋(dataset)을 구축하는 대신, 확장 가능한 물리 기반 생성형 X선 데이터 엔진을 구축합니다. 기존의 3차원 전신 CT 분할 데이터셋과 생성형 이미지 편집 모델을 활용하여 다양한 외관, 생리학적 특성 및 촬영 기하학적 조건을 갖춘 완전히 주석 처리된 2차원 X선을 시뮬레이션합니다. 이러한 시뮬레이션을 통해 학습된 FleXray는 학습에 사용되지 않은 연구용 데이터셋 및 야생(in-the-wild) X선에서 60개의 해부학적 구조를 정확하게 분할합니다. 나아가 FleXray가 X선을 정량적 분석에 직접 활용할 수 있도록 만들어, 질환 중증도 분류를 위한 자동 측정, X선 유도 중재 시술 중의 강건한 내비게이션, 병리학적 대상에 대한 데이터 효율적 학습을 가능하게 함을 보여줍니다. 본 연구진은 모델, 코드, 전신 X선 분할 데이터셋, 그리고 사용하기 쉬운 로컬 브라우저 기반 도구를 https://flexray.csail.mit.edu 에 공개합니다.
CasCVS-Net: 안전 핵심 시야(Critical View of Safety) 평가를 위한 단계별 다중 작업 캐스케이드
CasCVS-Net: A Staged Multi-Task Cascade for Critical View of Safety Assessment
복강경 담낭절제술에서 안전 핵심 시야(Critical View of Safety, CVS)의 자동 평가는 세 가지 CVS 기준의 인식과, 크기가 작고 드물며 종종 가려진 담낭-간(hepatocystic) 구조에 대한 해부학적 그라운딩(grounding)을 모두 요구한다. 학습 기반 방법들은 이미지 수준 분류에서 검출, 분할, 또는 그래프 기반 추론에 이르기까지 사용하는 해부학적 정보가 다르지만, 안전에 중요한 해부학 구조의 그라운딩은 여전히 주요 병목으로 남아 있다. 우리는 Endoscapes 데이터셋으로 학습된, 객체 검출, 의미 분할(semantic segmentation), CVS 평가를 공동으로 수행하는 단계별 다중 작업 캐스케이드 CasCVS-Net을 제안한다. 모델은 예측된 해부학을 통해 작업들을 결합한다. 예측된 박스가 분할을 안내하고, 예측된 마스크가 CVS 분류를 위한 영역 수준 특징을 제공하므로, 추론 시 CVS 평가는 정답 주석(ground-truth annotation)이 아닌 모델 예측만을 사용한다. 이 결합 설정에서 최적화(optimization) 불안정성을 줄이기 위해 학습은 검출에서 검출-분할로, 이어서 전체 세 작업 캐스케이드로 진행한 뒤 작업별 미세조정을 수행한다. 공개된 미공개 테스트 세트에 대한 평가는 CasCVS-Net이 세 작업 모두에서 대응되는 단일 작업 기준선보다 개선되며, 검출 mAP 32.0, 의미 mIoU 46.8, 드문 해부학 mIoU 15.3, CVS mAP 67.2를 달성함을 보여준다. 최첨단 LG-CVS 및 SV2LSTG보다 상대 CVS mAP 기준 각각 6.3% 및 4.5% 우수하며, 이는 각각 4.0 및 2.9 mAP 포인트에 해당한다. 이러한 결과는 예측된 박스와 마스크를 통한 단계적 작업 결합이 CVS 평가, 특히 드문 담낭-간 구조에 대한 해부학적 그라운딩을 개선함을 보여준다.
CTSpinoPelvic1K: 단일 좌표계의 척추·골반·늑골·대퇴골, 요천추 전환부 해부학 주석
CTSpinoPelvic1K: spine, pelvis, ribs and femora in one coordinate frame, annotated for lumbosacral transitional anatomy
목적: 요천추 접합부 천추는 전체 척추 영상에서 C2부터 caudal 방향으로 세어 이름을 붙이지만, 요추 수술 계획은 C2 없이 요추만 영상(T12–S1)으로 세운다. 복부·골반 CT는 그 구간에 최하위 늑골과 골반까지 포함한다. 요천추 전환 천추(lumbosacral transitional vertebra, LSTV)가 개수를 바꾸면 국소 해부는 모호해진다. 늑골 없는 천추가 네 개이면 요추 늑골을 동반한 L1일 수도 있고 천골에 동화된 L5일 수도 있으며, 여섯 개이면 제6요추, 무형성 늑골을 동반한 T12, 또는 요추화된 S1일 수 있다. CTSpinoPelvic1K는 개수 없이 국소 형태만으로 이를 판별할 수 있는지 묻는다. CTSpine1K의 천추와 CTPelvic1K의 골반은 동일 환자를 각각 다뤘으나 결합되지 않았고, 본 공개판은 한 시리즈에서 이를 결합하고 어느 쪽에도 없던 골을 추가한다. 802건의 CT 기록을 제공하며, 레벨별 늑골·대퇴골, 최하위 늑골 부착 천추와 S1에 고정된 레벨, L6·T13·분리된 S1·요추 늑골 클래스를 두어 이상을 그대로 기록한다. 취득 및 검증 방법: 각 환자의 골량이 가장 많은 시리즈에서 VerSe-native 체계 하에 CTSpine1K와 CTPelvic1K 라벨을 짝지었다. 검증은 기하 불변량(802/802 통과), 5,749개 늑골에 대한 늑골–천추 대응(0.035% 오차), 문헌값과 일치하는 척골–골반 측정을 포함했다. 데이터 형식 및 사용 안내: 환자 단위 그룹·LSTV 계층화 5-fold 분할과 로더가 있는 NIfTI 영상/라벨 쌍; https://doi.org/10.5281/zenodo.22139642 에 보관. 잠재적 응용: 국소 특징으로부터 천추 분류, cadaveric 형태계량 갱신, 척골–골반 평가, 기회적 스크리닝, 공개 수술 전 요추 코호트가 없는 상황에서의 수술 계획 연구(377건 prone). 한계: 흉추 ground truth는 시야(field-of-view) 제한, 자세 각도는 supine, 별도 test set 없음, 늑골은 triaged-review 의사라벨, Castellvi 등급은 33건에 대한 두 판독자 합의.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.