Analog In-Memory Computing with Uncertainty Quantification for Efficient Edge-based Medical Imaging Segmentation
원문 초록
This work investigates the role of the emerging Analog In-memory computing (AIMC) paradigm in enabling Medical AI analysis and improving the certainty of these models at the edge. It contrasts AIMC's efficiency with traditional digital computing's limitations in power, speed, and scalability. Our comprehensive evaluation focuses on brain tumor analysis, spleen segmentation, and nuclei detection. The study highlights the superior robustness of isotropic architectures, which exhibit a minimal accuracy drop (0.04) in analog-aware training, compared to significant drops (up to 0.15) in pyramidal structures. Additionally, the paper emphasizes IMC's effective data pipelining, reducing latency and increasing throughput as well as the exploitation of inherent noise within AIMC, strategically harnessed to augment model certainty.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
컨포멀 불확실성 추정을 적용한 초음파 영상 내 갑상선 결절 분할
Thyroid Nodule Segmentation in Ultrasound Images with Conformal Uncertainty Estimation
갑상선 결절은 일반 인구의 상당 비율에서 발생합니다. 대부분은 양성이지만, 악성인 경우도 적지 않은 비율을 차지합니다. 초음파 영상은 주요 진단 방식(modality)이며, 악성 여부를 분류(classification)하고 전이 위험을 평가하는 CAD 시스템에서는 정확한 결절 분할(segmentation)이 필수적인 선결 조건입니다. 본 연구에서는 DeepLabV3+, 채널 어텐션(channel-attention) 모듈, 그리고 사후 컨포멀 예측(post-hoc conformal prediction)을 결합하여 정확한 마스크와 픽셀 수준의 불확실성 추정치를 모두 제공하는 갑상선 결절 분할 프레임워크를 제안합니다. 우리는 악성도 분류 및 전이 위험 예측까지 포함하는 파이프라인의 첫 번째 단계로 갑상선 초음파 결절 분할을 다룹니다. Atrous Spatial Pyramid Pooling(ASPP)을 통해 다중 스케일 컨텍스트를 포착하는 DeepLabV3+를 채택하고, 정확도와 효율성 간의 절충(trade-off)을 고려하여 EfficientNet-B5 백본을 사용합니다. 또한 Squeeze-and-Excitation, CBAM, Grouped Channel Attention(GCA)의 세 가지 채널 어텐션 모듈을 두 가지 손실(loss) 함수 구성(Dice-BCE 및 Boundary)과 결합하여 테스트합니다. 이진 마스크는 예측 신뢰도를 나타내지 못하므로, 통계적 커버리지 보장(statistical coverage guarantees)을 제공하는 픽셀 수준의 불확실성 맵을 생성하도록 분할 컨포멀 예측(split conformal prediction) 층(layer)으로 학습된 모델(model)을 감쌉니다. 고정 분할 방식을 사용하여 TN3K 공개 벤치마크에서 모든 구성을 평가하고 최신 기법(SOTA)들과 직접 비교합니다. 기본 백본만으로도 이전에 보고된 결과를 개선하며, CBAM + Dice-BCE가 전반적으로 가장 우수한 구성으로 나타났습니다.
분할 한계선: 명시적 좌심실 마스크가 학습 기반 박출률 회귀 성능을 개선하지 못하는 이유
The segmentation ceiling: why explicit left-ventricular masks do not improve learned ejection-fraction regression
심장초음파를 통한 좌심실 박출률(EF)의 정확한 추정은 심혈관 치료의 핵심이며, 심층 학습(deep learning)은 심장초음파 비디오로부터 자동화된 EF 예측을 가능하게 합니다. 임상적으로 EF가 좌심실(LV) 용적에서 도출되기 때문에, 명시적인 좌심실 분할(segmentation)이 예측 성능을 향상시킬 것이라는 직관이 널리 받아들여져 왔습니다. 본 연구에서는 이를 검증 가능하게 하는 정량적 기준인 '분할 한계선(segmentation ceiling)'을 제안합니다. 이완기말 및 수축기말 용적의 정규화된 차이로 정의되는 EF로부터, 프레임별 분할 영역 오차가 EF 오차로 전파되는 과정을 닫힌 형식(closed form)으로 유도하고, 이를 통해 마스크가 직접 회귀보다 성능을 개선하기 위해 도달해야 하는 정확도를 도출합니다. EchoNet-Dynamic, UniFormer-S 백본, 그리고 실증적으로 측정된 환자 내 오차 상관관계를 사용했을 때, 이 기준은 손익분기점을 프레임별 영역 오차 약 10% 부근으로 설정하는 반면, 대표적인 분할 모델은 한계선을 상회하는 약 14% 수준에서 작동합니다. 이에 부합하게 분할 또는 영역 정보를 주입하는 네 가지 전략(예측 마스크 채널, 이완기말/수축기말 클립 샘플링, 빈(bin)별 및 진폭 영역 일관성 목적 함수)은 원본 비디오 기준선(baseline)을 능가하지 못하며, 실제 정답(ground-truth) 마스크는 레이블 누출을 통해서만 도움이 됩니다. 따라서 입력 표현이 한계 요인이 아님을 보이고 일반화(generalization)를 실질적인 개선 수단으로 식별합니다. 강력한 증강과 결합된 가중치(weight) 평균화는 동일한 조밀 클립 프로토콜에서 R(2+1)D 기준선(0.811)에 필적하는 0.806의 테스트 R^2(MAE 4.08)을 달성하는 동시에 검증(validation)-테스트 간 격차를 줄입니다. 마지막으로, 이분산 베타-NLL(heteroscedastic beta-NLL) 공식화는 몬테카를로 드롭아웃(Monte-Carlo dropout)과 달리 임상적으로 더 까다로운 낮은 EF 사례에서 더 크게 나타나는 유용하고 잘 보정된 예측별 불확실성을 제공합니다. 분할 한계선은 마스크 유도 기반 EF 추정이 언제 가치가 있는지에 대한 구체적인 설계 기준과 함께 단순하고 불확실성을 고려하는 EF 회귀 레시피를 제공합니다.
확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성
Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis
확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.
불확실성 유도 핸드셰이크: 수술 등급 신경교종 분할을 위한 효율적인 인간 참여형 정제
Uncertainty-Guided Handshake: Efficient Human-in-the-Loop Refinement for Surgical-Grade Glioma Segmentation
의료 이미지 분할(image segmentation)을 위한 최신 자동화 모델은 높은 평균 성능을 달성하지만, 특히 신경종양학 분야에서 안전한 임상 적용을 가로막는 국소적이고 치명적인 실패를 빈번하게 겪습니다. 대화형 분할 프레임워크는 인간의 감독을 통합하여 이를 완화하지만, 전통적으로 임상의가 오류를 직접 찾아내도록 요구함으로써 과도한 인지적 및 시간적 부담을 초래합니다. 본 연구에서는 자동화된 기준선(baseline) 성능과 수술 등급 정밀도(precision) 사이의 간극을 메우는 효율적인 하이브리드 구조적-우연적 인간 참여형(Human-in-the-Loop) 신경교종 분할 프레임워크를 제시합니다. 이 프레임워크는 큐레이션된 벤치마크에서 2.0 mm 미만의 HD95를 달성하는 동시에 실제 임상 데이터 전반의 구조적 실패에 대한 안전망 라우팅을 제공합니다. 복셀 단위의 테스트 시점 증강(TTA) 불확실성을 추출하고 계층적 위상 필터링을 적용함으로써, 본 제안 방법은 고위험 구조적 이상치를 선제적으로 격리합니다. 연구진은 까다로운 분포 외(out-of-distribution) 임상 스트레스 테스트 코호트(N = 362)를 대상으로 본 접근법을 종합적으로 평가했습니다. 시뮬레이션된 인간 오라클(Human Oracle) 환경에서 본 프레임워크는 전체 종양(WT) Dice 점수를 0.891에서 0.914로 향상시켰고, 95번째 백분위수 하우스도르프 거리(HD95)를 5.82 mm에서 4.76 mm로 단축했습니다. 수술 안전성에 매우 중요하게도, 시스템은 종양 핵심(TC) 영역의 심각한 경계 오류를 복구하여 평균 HD95를 17.96 mm에서 14.83 mm로 감소시켰습니다(절대 TC Dice는 0.356으로 향상). 이러한 공간적 복구는 목표 체적의 11.3%에 불과한 중앙값 대화형 작업량만 요구하면서 달성되었습니다. 이것이 실제 인지적 마찰이 배제된 시뮬레이션상의 상한선이라는 점을 인정하더라도, 본 프레임워크는 임상 AI를 안전하게 배포하기 위한 매우 파레토 효율적인(Pareto-efficient) 경로를 입증합니다.
임상 배포된 흉부 방사선치료 자동 윤곽선 추출을 위한 해부학적 변화 인식 양방향 선택적 상태 공간 메모리
Anatomy-Change-Aware Bidirectional Selective State-Space Memory for Clinically Deployed Thoracic Radiotherapy Auto-Contouring
우리는 방사선치료 자동 윤곽선 추출에서 지속되어 온 세 가지 문제, 즉 슬라이스 간 표면 불일치, 저대조 소형 표적에 대한 체계적인 실패, 그리고 증례별 신뢰도 신호의 부재를 해결하는 흉부 위험장기(OAR) 및 표적 체적 분할을 위한 2.5D 아키텍처 DAMM-Net++을 개발했다. 핵심 구성 요소는 평면 간(through-plane) 해부학적 변화를 모델링하고 축상 슬라이스 시퀀스를 따라 컨텍스트를 선택적으로 전파하는 해부학적 변화 인식 양방향 선택적 상태 공간 메모리이다. 경계 인식 디코더는 표면 인근 예측을 선명하게 하며, 불확실성 헤드는 임상 분류(triage)를 위한 보정된 복셀 단위 신뢰도를 제공한다. 우리는 4개 기관에 걸친 2,146명의 환자, 독립적인 외부 코호트 112명, 그리고 305개 증례에 대해 17명의 방사선종양학과 전문의가 참여한 다기관 판독자 연구를 통해 모델을 평가했다. 모델은 평균 Dice 0.955와 HD95 3.78mm를 달성했으며, 평면 간 컨텍스트가 가장 중요한 저대조 위험장기(OAR) 및 표적 체적에서 가장 큰 개선을 보였다. 불확실성 헤드는 잘 보정되어 있으며 증례 단위 분류를 지원한다. 판독자 연구에서 AI 보조는 경력 수준 전반에 걸쳐 윤곽선 추출 시간을 75~80% 단축시켰고, 주니어 판독자의 IoU를 0.861에서 0.925로 향상시켜 수정되지 않은 모델 수준에 도달했다. 외부 검증에서는 내부 대비 외부 성능의 소폭 하락(<5%)이 나타났으며, 보정된 불확실성은 재보정 없이도 전이되었다. DICOM 수집부터 TPS 호환 RTSTRUCT 내보내기에 이르는 전체 배포 파이프라인이 협력 병원의 임상 워크플로우에 통합되어 윤곽선 추출을 보조하는 데 사용되고 있다. 이러한 결과는 해부학적으로 동기화된 슬라이스 간 메모리가 불확실성 기반 검토와 결합될 때 흉부 자동 윤곽선 추출을 위한 임상적으로 실현 가능한 경로를 제공함을 시사한다.
3D 의료 분할을 위한 신뢰도 인식 교사-학생 지식 증류
Confidence-Aware Teacher-Student Distillation for 3D Medical Segmentation
의료 이미지 분할 모델은 일반적으로 대량의 밀집 주석이 달린 체적 데이터에 의존하여, 작업과 영상 방식 전반에 걸친 확장성을 제한한다. 본 연구는 극단적인 주석 희소성 하에서 전체 3D 해부학적 구조를 예측하는 문제를 다룬다. 체적당 단일 2D 슬라이스에 점 프롬프트(point prompt) 집합만 입력으로 요구하는, 자동 3D 의료 분할용 주석 효율적 교사-학생 프레임워크를 제안한다. 파운데이션 모델이 오프라인 교사로 작동하며, 선택된 슬라이스의 점 프롬프트를 이용해 학생 학습 전에 전체 체적 의사 주석과 이에 대응하는 공간적 신뢰도 점수를 생성한다. 노이즈가 있는 의사 주석의 오류 전파를 줄이기 위해, 과제별 3D 학생 네트워크를 신뢰도 인식 최적화(optimization) 전략으로 학습한다. 교사의 사전 계산된 신뢰도 점수를 활용해, 이 전략은 의사 주석 중 정적으로 불확실한 영역을 손실(loss) 계산에서 명시적으로 제외하고, 동시에 신뢰도가 더 높은 영역을 강조한다. 3D 심장 MRI 데이터셋(dataset)에서 평가한 결과, 제안 프레임워크는 최신 준지도(semi-supervised) 방법을 능가하며 이미지 분할 성능을 최대 43.6% 향상시킨다. 또한 체적당 소수의 양성 점 프롬프트만으로 수동 주석 부담을 크게 줄이면서, 교사 대비 표면 경계 정밀도(precision)를 최대 14.7% 개선하고, 완전 지도 학습 상한 대비 성능 격차의 최대 34.1%를 회복한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.