A Data-Adaptive Loss Function for Incomplete Data and Incremental Learning in Semantic Image Segmentation
원문 초록
In the last years, deep learning has dramatically improved the performances in a variety of medical image analysis applications. Among different types of deep learning models, convolutional neural networks have been among the most successful and they have been used in many applications in medical imaging. Training deep convolutional neural networks often requires large amounts of image data to generalize well to new unseen images. It is often time-consuming and expensive to collect large amounts of data in the medical image domain due to expensive imaging systems, and the need for experts to manually make ground truth annotations. A potential problem arises if new structures are added when a decision support system is already deployed and in use. Since the field of radiation therapy is constantly developing, the new structures would also have to be covered by the decision support system. In the present work, we propose a novel loss function, that adapts to the available data in order to utilize all available data, even when some have missing annotations. We demonstrate that the proposed loss function also works well in an incremental learning setting, where it can automatically incorporate new structures as they appear. Experiments on a large in-house data set show that the proposed method performs on par with baseline models, while greatly reducing the training time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Rethinking Dual-Stream Super-Resolution Semantic Learning in Medical Image Segmentation
Crosslink-Net: Double-Branch Encoder Network via Fusing Vertical and Horizontal Convolutions for Medical Image Segmentation
UniFLM: 태아 사지 초음파 이미지의 통합 분할 및 측정
UniFLM: United Segmentation and Measurement on Fetal Limb Ultrasonic Image
산전 초음파 검사는 태아의 사지 발달을 평가하고 선천적 기형을 발견하는 데 매우 중요합니다. 그러나 기존 인공지능 모델들은 고품질의 주석 데이터 부족과 여러 긴뼈(장골)를 아우르는 통합 프레임워크의 부재로 인해 태아 치사성 골이형성증을 간과하는 경우가 많습니다. 또한 범용 분할 모델은 초음파 영상 특유의 잡음과 의미적 차이(semantic gap)로 인해 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 상완골, 대퇴골, 경골-비골, 요골-척골에 대한 고품질 주석을 포함하는 FLB(Fetal Limb Bones) 데이터셋을 구축합니다. 더 나아가, 교차 평면 자동 분할 및 측정을 위한 통합 프레임워크인 UniFLM(United Segmentation and Measurement on Fetal Limb Ultrasonic Image)을 제안합니다. UniFLM은 인코더와 디코더 특징 간의 의미적 격차를 해소하기 위한 의미 정렬 스킵 연결(SASC, Semantic Alignment Skip Connection) 모듈과 잡음을 필터링하고 필수적인 의미 정보를 추출하기 위한 양성 샘플링(PoSamp, Positive Sampling) 전략을 포함합니다. 마지막으로, 정밀한 뼈 길이 측정을 위해 임상의의 주석 패턴을 학습하는 점 회귀 매핑(PRM, Point Regression Mapping) 모듈을 도입합니다. FLB 데이터셋과 공개 FetalP5 벤치마크에서 수행된 광범위한 실험을 통해, UniFLM이 4가지 뼈 범주 및 외부 다기관 데이터 전반에서 일관된 일반화 성능과 함께 경쟁력 있는 성능을 달성함을 입증하였으며, 이는 블랜드-알트만(Bland-Altman) 일치도 분석과 부트스트랩 신뢰구간을 포함한 포괄적인 통계적 검증으로 뒷받침됩니다. 소스 코드는 https://github.com/chosen1203/UniFLM 에서 공개되어 있습니다.
SBF-SEM에서 3D 수상돌기 인스턴스 분할을 위한 완전 자동화 파이프라인
A Fully Automatic Pipeline for 3D Dendrite Instance Segmentation in SBF-SEM
연속 블록면 주사전자현미경(SBF-SEM)에서 개별 수상돌기(dendrite)의 정확한 3차원(3D) 재구성은 뇌의 구조적 가소성을 정량화하는 데 필수적이지만, 대규모 수작업 어노테이션은 실현하기 어렵습니다. 본 논문에서는 다운샘플링된 슬라이스에 대한 YOLOv6 유도 기반 Segment Anything Model(SAM) 프롬프팅, 반복적 2차원 마스크 정제, 랜덤 포레스트(random forest) 기반 3D 인스턴스 연결, 그리고 원본 해상도에서 nnU-Net을 활용한 인스턴스 인지 고해상도 정제를 하나의 시스템으로 통합하여 추론 시 수동 프롬프팅이 전혀 필요하지 않은 3D 수상돌기 인스턴스 분할(instance segmentation) 완전 자동화 파이프라인을 제시합니다. 대조군 쥐와 필로카르핀 유도 간질 모델 쥐의 해마 CA1 SBF-SEM 데이터셋에 적용한 결과, 본 파이프라인은 높은 의미론적 정확도(Dice 0.93 및 0.91)와 대조군 조직에서의 우수한 인스턴스 수준 성능으로 일관되고 잘 분리된 수상돌기를 재구성하는 한편, 더 까다로운 간질 조직 분석을 통해 밀집 영역에서의 인스턴스 인식이 주요 잔여 한계점임을 밝혀냈습니다. 고해상도 정제 단계는 얇은 수상돌기 돌출부를 복원하여 후속 가시(spine) 수준 분석의 기반을 제공합니다. 코드는 https://github.com/ZE-WEN/dendrite-3d-instance-seg 에서 확인할 수 있습니다.
MorphoBranch: 분지형 세포 구조의 형태학적 분석을 위한 미세 구조 보존 워크벤치
MorphoBranch: A Fine-Structure-Preserving Workbench for Morphometric Analysis of Branched Cellular Structures
배경 및 목적: 형광 표지된 세포 수지상 분지는 신경 세포 및 미세아교세포(microglia)의 형태에 대한 판독 정보를 제공하지만, 미세하고 약하게 표지된 돌기는 단편화 및 잘못된 연결이 발생하기 쉬워 스켈레톤 기반 측정에 바이어스를 유발합니다. 본 논문에서는 분지형 세포 구조의 형태계측을 위해 미세 구조를 보존하고 사람이 검토 가능한 워크벤치인 MorphoBranch를 제안합니다. 방법: MorphoBranch는 결정론적 형태계측 엔진(Morphometry Engine)과 LLM 보조 정제 엔진(Refinement Engine)을 결합합니다. 형태계측 엔진은 다중 스케일 구조 증거 추출, 히스테리시스 분할, 증거 제약 스켈레톤 정제 및 그래프 기반 형태계측을 통합하는 이미지-투-그래프(image-to-graph) 워크플로우를 구현합니다. 정제 엔진은 자연어 요청을 매개변수 조정, 미리보기 실행, 지표 보고 및 지원되지 않는 요청 처리를 위한 등록된 동작에 매핑하는 한편, 이미지 처리 및 정량적 계산은 결정론적이며 검토 가능한 상태로 유지됩니다. 결과: MorphoBranch는 두 개의 공개 신경 세포 축삭 데이터셋인 AxonMIP 및 AxonStack과 자체 구축한 미세아교세포 형광 이미지 데이터셋인 Cell-Morph에서 평가되었습니다. 세 데이터셋 모두에서 평가된 방법 중 가장 높은 Skeleton F1 및 clDice, 그리고 가장 낮은 길이 추정 오차를 달성했으며, AxonMIP 및 AxonStack에서는 가장 높은 Dice 및 IoU도 기록했습니다. 150개의 자연어 작업 전반에서 정제 엔진은 94.0%의 엔드투엔드 성공률을 달성했습니다. 결론: 이러한 결과는 MorphoBranch가 분지형 세포 구조의 형태학적 분석을 위한 재현 가능하고 사람이 검토할 수 있는 워크플로우를 제공함을 입증합니다. 또한 검사 가능하고 재현 가능한 분석 워크플로우를 유지하면서 신경 세포 축삭 및 미세아교세포 형광 이미지 전반에서 미세 구조를 보존하는 정량화를 지원합니다.
현미경 스테레오 비디오에서의 의미론적 RGB-깊이 기반 수술 숙련도 평가
Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
미세수술 기술 숙련도에 대한 객관적 평가는 역량 기반 훈련과 품질 보증에 필수적이지만, 기존의 비디오 기반 접근 방식은 주로 RGB 이미지에 의존하므로 기구와 해부학적 구조 간의 상호작용을 특징짓는 3D 공간적 관계를 간과합니다. 비록 입체 수술 현미경이 상호보완적인 깊이(depth) 정보를 제공하지만, 기존의 스테레오 매칭 알고리즘은 고배율 이미징 환경에서 희소하고 신뢰할 수 없는 깊이 추정치를 생성할 수 있어 자동 숙련도 평가에 활용하는 데 한계가 있습니다. 본 연구에서는 현미경 스테레오 비디오로부터 수술 숙련도를 평가하기 위한 의미론적(semantic) RGB-깊이 프레임워크를 제시합니다. 회귀 기반 깊이 융합 방법은 희소한 미터법 스테레오 깊이와 조밀한 단안 깊이 추정치를 결합하여 수술 장면의 조밀한 기하학적 표현을 생성합니다. 이 표현은 개별 수술 기구 및 주변 해부학적 구조에 해당하는 의미론적으로 분해된 RGB 스트림과 통합됩니다. 계층적 어텐션(attention) 아키텍처는 이러한 스트림들을 공동 인코딩하여 서로 다른 수련 수준의 외과의 전반에 걸친 기구 사용 및 기구-해부학적 구조 상호작용의 변별력 있는 패턴을 포착합니다. 제안된 프레임워크는 전임의(attending surgeons)와 레지던트로 구성된 6명의 외과의가 수행한 33건의 생체 외(ex vivo) 경구강 미세후두 수술을 대상으로 외과의 1인 제외 교차 검증(leave-one-surgeon-out cross-validation)을 통해 평가되었습니다. 제안된 의미론적 RGB-깊이 모델은 숙련도 수준 분류에서 F1 점수 0.938을 달성하여, 의미론적 RGB의 0.696 및 의미론적 깊이의 0.929와 비교되었습니다. 이러한 결과는 기하학적 정보가 현미경 스테레오 비디오 기반의 자동 수술 숙련도 평가를 향상시킬 수 있음을 시사합니다. 또한 학습된 공간, 시간 및 의미론적 어텐션 패턴은 모델이 강조한 장면 영역, 비디오 세그먼트 및 의미론적 스트림에 대한 정성적 분석을 뒷받침합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.