Interactive Medical-SAM2 GUI: A Napari-based semi-automatic annotation tool for medical images
원문 초록
Interactive Medical-SAM2 GUI is an open-source desktop application for semi-automatic annotation of 2D and 3D medical images. Built on the Napari multi-dimensional viewer, box/point prompting is integrated with SAM2-style propagation by treating a 3D volume as a slice sequence, enabling mask propagation from sparse prompts using Medical-SAM2 on top of SAM2. Voxel-level annotation remains essential for developing and validating medical imaging algorithms, yet manual labeling is slow and expensive for 3D scans, and existing integrations frequently emphasize per-slice interaction without providing a unified, cohort-oriented workflow for navigation, propagation, interactive correction, and quantitative export in a single local pipeline. To address this practical limitation, a local-first Napari workflow is provided for efficient 3D annotation across multiple studies using standard DICOM series and/or NIfTI volumes. Users can annotate cases sequentially under a single root folder with explicit proceed/skip actions, initialize objects via box-first prompting (including first/last-slice initialization for single-object propagation), refine predictions with point prompts, and finalize labels through prompt-first correction prior to saving. During export, per-object volumetry and 3D volume rendering are supported, and image geometry is preserved via SimpleITK. The GUI is implemented in Python using Napari and PyTorch, with optional N4 bias-field correction, and is intended exclusively for research annotation workflows. The code is released on the project page: https://github.com/SKKU-IBE/Medical-SAM2GUI/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.22649v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
BrainIAC: 온라인 적응을 통한 이종 MRI 모달리티 전반에서의 대화형 3D 뇌 병변 분할
BrainIAC: Interactive 3D Brain Lesion Segmentation across Heterogeneous MRI Modalities with Online Adaptation
뇌 병변 분할은 의료 영상 분석의 핵심 과제로, 진단, 치료 계획 수립, 장기적인 질환 모니터링에서 결정적인 역할을 수행합니다. 그러나 기존 모델들은 스캐너 하드웨어, 이미징 프로토콜(다양한 MRI 모달리티 조합)의 차이 및 새로운 병리적 특성으로 인해 발생하는 데이터 분포 변화(distribution shift)가 존재하는 실제 임상 현장의 요구 조건을 충족하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 다음 요소들을 통합한 단일 프레임워크인 BrainIAC(Brain lesion Interactive Adaptive Continuously learning segmentation)를 제안합니다: (i) 제로 필링(zero-filling) 및 무작위 모달리티 드롭(random modality dropping)을 통해 다양한 유형의 뇌 병변을 분할하고 이종 모달리티 조합을 처리하도록 학습(training)된 멀티모달 백본 네트워크, (ii) 프롬프트(prompt)가 주어지지 않을 때 완전 자동 예측을 유지하면서 바운딩 박스 및 클릭 프롬프트를 활용하는 3D 대화형 분할(interactive segmentation), (iii) 네트워크 자체의 예측값을 의사 라벨(pseudo label)로 활용하여 지도 학습을 수행하고 추가적인 클릭 중심 가우시안 손실(Click-Centered Gaussian loss)의 안내를 받는 상호작용 중(Mid-Interaction) 적응과 상호작용 후(Post-Interaction) 적응을 결합한 온라인 적응 메커니즘. 저자들이 아는 한, 이는 대화형 분할을 위한 최초의 3D 온라인 적응 방법 중 하나이며, 이종 모달리티 조합 처리와 온라인 적응을 결합한 최초의 연구입니다. 7개의 뇌 MRI 데이터셋(dataset)을 활용한 실험을 통해 제안된 구성 요소들이 상호 보완적이고 시너지 효과를 내는 이점을 제공함을 입증했습니다. 제안 방법은 기존 접근 방식들을 지속적으로 능가하며, 학습 중 보지 못한 모달리티를 포함한 이종 이미징 모달리티 전반은 물론 이전에 보지 못한 뇌 병리 유형에 대해서도 우수한 일반화 성능을 보입니다. 코드 및 3D Slicer 플러그인은 논문 게재 시 https://github.com/WenTXuL/BrainIAC 에 공개될 예정입니다.
Rethinking Dual-Stream Super-Resolution Semantic Learning in Medical Image Segmentation
Crosslink-Net: Double-Branch Encoder Network via Fusing Vertical and Horizontal Convolutions for Medical Image Segmentation
UniFLM: 태아 사지 초음파 이미지의 통합 분할 및 측정
UniFLM: United Segmentation and Measurement on Fetal Limb Ultrasonic Image
산전 초음파 검사는 태아의 사지 발달을 평가하고 선천적 기형을 발견하는 데 매우 중요합니다. 그러나 기존 인공지능 모델들은 고품질의 주석 데이터 부족과 여러 긴뼈(장골)를 아우르는 통합 프레임워크의 부재로 인해 태아 치사성 골이형성증을 간과하는 경우가 많습니다. 또한 범용 분할 모델은 초음파 영상 특유의 잡음과 의미적 차이(semantic gap)로 인해 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 상완골, 대퇴골, 경골-비골, 요골-척골에 대한 고품질 주석을 포함하는 FLB(Fetal Limb Bones) 데이터셋을 구축합니다. 더 나아가, 교차 평면 자동 분할 및 측정을 위한 통합 프레임워크인 UniFLM(United Segmentation and Measurement on Fetal Limb Ultrasonic Image)을 제안합니다. UniFLM은 인코더와 디코더 특징 간의 의미적 격차를 해소하기 위한 의미 정렬 스킵 연결(SASC, Semantic Alignment Skip Connection) 모듈과 잡음을 필터링하고 필수적인 의미 정보를 추출하기 위한 양성 샘플링(PoSamp, Positive Sampling) 전략을 포함합니다. 마지막으로, 정밀한 뼈 길이 측정을 위해 임상의의 주석 패턴을 학습하는 점 회귀 매핑(PRM, Point Regression Mapping) 모듈을 도입합니다. FLB 데이터셋과 공개 FetalP5 벤치마크에서 수행된 광범위한 실험을 통해, UniFLM이 4가지 뼈 범주 및 외부 다기관 데이터 전반에서 일관된 일반화 성능과 함께 경쟁력 있는 성능을 달성함을 입증하였으며, 이는 블랜드-알트만(Bland-Altman) 일치도 분석과 부트스트랩 신뢰구간을 포함한 포괄적인 통계적 검증으로 뒷받침됩니다. 소스 코드는 https://github.com/chosen1203/UniFLM 에서 공개되어 있습니다.
임상 배포된 흉부 방사선치료 자동 윤곽선 추출을 위한 해부학적 변화 인식 양방향 선택적 상태 공간 메모리
Anatomy-Change-Aware Bidirectional Selective State-Space Memory for Clinically Deployed Thoracic Radiotherapy Auto-Contouring
우리는 방사선치료 자동 윤곽선 추출에서 지속되어 온 세 가지 문제, 즉 슬라이스 간 표면 불일치, 저대조 소형 표적에 대한 체계적인 실패, 그리고 증례별 신뢰도 신호의 부재를 해결하는 흉부 위험장기(OAR) 및 표적 체적 분할을 위한 2.5D 아키텍처 DAMM-Net++을 개발했다. 핵심 구성 요소는 평면 간(through-plane) 해부학적 변화를 모델링하고 축상 슬라이스 시퀀스를 따라 컨텍스트를 선택적으로 전파하는 해부학적 변화 인식 양방향 선택적 상태 공간 메모리이다. 경계 인식 디코더는 표면 인근 예측을 선명하게 하며, 불확실성 헤드는 임상 분류(triage)를 위한 보정된 복셀 단위 신뢰도를 제공한다. 우리는 4개 기관에 걸친 2,146명의 환자, 독립적인 외부 코호트 112명, 그리고 305개 증례에 대해 17명의 방사선종양학과 전문의가 참여한 다기관 판독자 연구를 통해 모델을 평가했다. 모델은 평균 Dice 0.955와 HD95 3.78mm를 달성했으며, 평면 간 컨텍스트가 가장 중요한 저대조 위험장기(OAR) 및 표적 체적에서 가장 큰 개선을 보였다. 불확실성 헤드는 잘 보정되어 있으며 증례 단위 분류를 지원한다. 판독자 연구에서 AI 보조는 경력 수준 전반에 걸쳐 윤곽선 추출 시간을 75~80% 단축시켰고, 주니어 판독자의 IoU를 0.861에서 0.925로 향상시켜 수정되지 않은 모델 수준에 도달했다. 외부 검증에서는 내부 대비 외부 성능의 소폭 하락(<5%)이 나타났으며, 보정된 불확실성은 재보정 없이도 전이되었다. DICOM 수집부터 TPS 호환 RTSTRUCT 내보내기에 이르는 전체 배포 파이프라인이 협력 병원의 임상 워크플로우에 통합되어 윤곽선 추출을 보조하는 데 사용되고 있다. 이러한 결과는 해부학적으로 동기화된 슬라이스 간 메모리가 불확실성 기반 검토와 결합될 때 흉부 자동 윤곽선 추출을 위한 임상적으로 실현 가능한 경로를 제공함을 시사한다.
분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가
Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation
선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.