arXiv:2010.13082

Context Aware 3D UNet for Brain Tumor Segmentation

Parvez Ahmad, Saqib Qamar, Linlin Shen, Adnan Saeed

제출 2020-10-25

원문 초록

Deep convolutional neural network (CNN) achieves remarkable performance for medical image analysis. UNet is the primary source in the performance of 3D CNN architectures for medical imaging tasks, including brain tumor segmentation. The skip connection in the UNet architecture concatenates features from both encoder and decoder paths to extract multi-contextual information from image data. The multi-scaled features play an essential role in brain tumor segmentation. However, the limited use of features can degrade the performance of the UNet approach for segmentation. In this paper, we propose a modified UNet architecture for brain tumor segmentation. In the proposed architecture, we used densely connected blocks in both encoder and decoder paths to extract multi-contextual information from the concept of feature reusability. In addition, residual-inception blocks (RIB) are used to extract the local and global information by merging features of different kernel sizes. We validate the proposed architecture on the multi-modal brain tumor segmentation challenge (BRATS) 2020 testing dataset. The dice (DSC) scores of the whole tumor (WT), tumor core (TC), and enhancing tumor (ET) are 89.12%, 84.74%, and 79.12%, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26924v1cs.CV공통 태그 Segmentation, Medical Image Analysis

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

arXiv:2609.27227v1cs.CV공통 태그 Segmentation, Medical Image Analysis

학습된 관절 운동 제약을 이용한 단안 영상 기반 수술 운동학

Surgical Kinematics from Monocular Video with Learned Articulated Motion Constraints

로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.

arXiv:2609.24838v1cs.AI공통 태그 Segmentation, Medical Image Analysis

MedRSI: 임상적으로 정렬된 자기 진화를 통한 의료용 에이전트의 재귀적 자기 개선

MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution

의료용 에이전트(agent)는 범용 추론 모델과 특화된 임상 도구를 점진적으로 결합하고 있으나, 그 능력은 배포 전 임상의와 엔지니어가 설계한 수준에 대부분 고정되어 있습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 에이전트가 자신의 실패로부터 학습(training)하고 자율적으로 능력을 확장하는 다른 패러다임을 제공하지만, RSI를 의료 분야에 직접 적용하는 것은 근본적인 안전성(safety) 문제를 초래합니다. 본 논문에서는 도구 조합과 태스크별 모델 학습을 통해 진단 실패를 새로운 임상 능력으로 지속적으로 전환하는 최초의 의료용 재귀적 자기 개선 프레임워크인 MedRSI를 소개합니다. 임상 진료 현장에서 영감을 얻은 MedRSI는 임상적으로 정렬(alignment)된 자기 진화를 위한 두 가지 메커니즘을 도입합니다. 첫째, 임상 비용 인식 기반 실패 우선순위화(clinical-cost-aware failure prioritization)는 단순한 빈도 대신 잠재적인 임상적 결과에 따라 오류에 대한 개선 방향을 설정합니다. 둘째, 신속한 발견과 보수적 등록(fast discovery with slow registration)은 빠른 능력 창출과 보수적 도입을 분리하여, 후속 환자 코호트 전반에서 지속적인 이점을 입증한 후에만 새로운 도구가 영구 에이전트에 반영되도록 합니다. 공개 녹내장 및 심장 질환 벤치마크(benchmark)와 두 가지 비공개 임상 태스크 전반에서 MedRSI는 분할, 측정, 예측, 멀티모달 추론 및 생성 능력을 점진적으로 발전시키며, 수작업으로 설계된 의료용 에이전트를 능가하고 원래 설계자가 예상하지 못한 임상 문제에 대한 솔루션을 자율적으로 발견합니다. 본 연구 결과는 의료용 에이전트가 배포 전에 지정된 능력에 국한될 필요가 없음을 보여줍니다. 즉, 무엇을 개선하고 무엇을 유지할지 통제하는 임상적으로 기반을 둔(grounded) 메커니즘을 통해 진단 경험으로부터 새로운 능력을 지속적으로 구축, 검증 및 축적할 수 있습니다. 코드는 https://github.com/ImprintLab/MedRSI 에서 확인할 수 있습니다.

arXiv:2609.23919v1eess.IV공통 태그 Medical Image Analysis, Brain Tumor Segmentation

VGG16-MCA UNet: 디코더 측 채널 어텐션을 활용한 2D FLAIR MRI 전체 종양 분할

VGG16-MCA UNet: Whole-Tumor Segmentation in 2D FLAIR MRI with Decoder-Side Channel Attention

자동 뇌종양 분할(segmentation)은 진단, 치료 계획 수립, 질병 진행 모니터링을 지원하지만, 이질적인 종양과 제한된 주석 데이터 전반에 걸쳐 일반화되는 모델을 구축하는 것은 여전히 어려운 과제이다. 본 논문에서는 ImageNet으로 사전학습(pre-training)된 VGG16 인코더와, 각 스킵 연결(skip-connection) 융합 이후 다중 채널 어텐션(Multi-Channel Attention, MCA) 모듈이 특징을 재보정하는 디코더를 결합한 하이브리드 아키텍처인 VGG16-MCA UNet을 제안한다. 이 모델은 심각한 전경-배경 불균형에 대응하기 위해 Focal Tversky 손실(loss)로 학습된다. 본 모델은 BraTS 2020 벤치마크와 LGG MRI Segmentation 데이터셋(dataset)이라는 두 개의 공개 데이터셋에서 종양이 존재하는 슬라이스를 대상으로, 2D, FLAIR 단일 시퀀스 전체 종양 분할기로서 평가된다. 5겹 교차 검증(cross-validation)과 다섯 개 폴드(fold) 모델의 가중치를 평균하여 형성한 단일 네트워크를 사용하여, 본 방법은 홀드아웃(held-out)한 BraTS 2020 분할(split)에서 95.10%, LGG에서 88.32%의 집계 픽셀 수준 Dice(F1) 점수를 달성하였다. 이 점수는 사례별로 평균을 낸 것이 아니라 모든 테스트 픽셀을 단일 혼동 행렬(confusion matrix)로 통합하여 계산된 것이므로, BraTS 챌린지 프로토콜에서 사용하는 사례별 평균 Dice와 직접 비교할 수 없다. 모든 분할(partition)은 환자 단위가 아니라 개별 슬라이스 단위로 나뉘었으므로, 모든 환자가 학습과 테스트 양쪽에 슬라이스를 제공한다. 따라서 위의 수치는 이미 알려진 환자 내에서의 보간(interpolation)을 측정한 것이며, 새로운 환자에 대한 일반화가 아니라 상한선(upper bound)으로 해석되어야 한다. 본 모델은 6GB NVIDIA RTX 2060 단일 GPU에서 256x256 슬라이스를 66.32ms에 분할하며, 이는 MCA가 없는 동등한 VGG16-UNet보다 약 8ms 더 긴 시간이다. 우리는 정확하게 명시되고 재현 가능한 2D FLAIR 기준선(baseline)을 제공하기 위해, 분할(split) 기록을 공개하고 프로토콜을 전체적으로 보고한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.