arXiv:2010.03468

Discriminative Cross-Modal Data Augmentation for Medical Imaging Applications

Yue Yang, Pengtao Xie

제출 2020-10-07

원문 초록

While deep learning methods have shown great success in medical image analysis, they require a number of medical images to train. Due to data privacy concerns and unavailability of medical annotators, it is oftentimes very difficult to obtain a lot of labeled medical images for model training. In this paper, we study cross-modality data augmentation to mitigate the data deficiency issue in the medical imaging domain. We propose a discriminative unpaired image-to-image translation model which translates images in source modality into images in target modality where the translation task is conducted jointly with the downstream prediction task and the translation is guided by the prediction. Experiments on two applications demonstrate the effectiveness of our method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24937v3cs.CV공통 태그 Image-to-Image Translation, Medical Image Analysis

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Image-to-Image Translation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.03224v1cs.CV공통 태그 Image-to-Image Translation, Medical Image Analysis

확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성

Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis

확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.

arXiv:2610.00805v1eess.IV공통 태그 Image-to-Image Translation, Medical Image Analysis

국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델

Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing

흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.

arXiv:2610.01956v1cs.CV공통 태그 Image-to-Image Translation, Medical Image Analysis

EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이

EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video

내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.

arXiv:2609.27015v1cs.CV공통 태그 Image-to-Image Translation, Medical Image Analysis

조영 전 영상으로부터 조영 후 유방 MRI의 해부학적 구조 인지 합성

Anatomy-Aware Synthesis of Post-Contrast Breast MRI from Pre-Contrast Images

본 연구에서는 종양 및 배경 실질 조영증강(BPE) 영역에 중점을 두어 조영 전 영상으로부터 조영 후 유방 MRI를 합성하는 해부학적 구조 인지(anatomy-aware) 심층 학습(deep learning) 프레임워크를 개발했습니다. 이 후향적 연구에는 6,251쌍의 조영 전 및 조영 후 영상을 가진 649명의 환자가 포함되었습니다. 해당 프레임워크는 유방 마스크 일관성, 병변 영역 지도(lesion-region supervision), 그리고 BPE 영역 지도를 이미지 대 이미지 변환(image-to-image translation) 모델(model)에 통합합니다. 평가는 정량적 화질 지표, 2명의 유방 방사선 전문의가 참여한 판독자 연구, 그리고 다운스트림 Ki-67 분류(classification)를 포함했습니다. 제안된 방법은 전체 영상 및 영역별 평가에서 Pix2Pix, Pix2PixHD, 확산(diffusion) 기반 합성, 그리고 마스크 지도 기반 베이스라인보다 우수한 성능을 보였습니다. Ki-67 분류는 실제 및 합성 영상 학습(training)과 테스트 설정 전반에 걸쳐 통계적으로 유의미한 성능 차이를 보이지 않았으나, 이것이 동등성을 입증하는 것은 아닙니다. 이러한 결과는 해부학적 구조 인지 지도가 합성 충실도를 향상시킴을 시사하며, 조영제 없는 영상 워크플로우를 위한 합성 조영 후 MRI의 추가 연구를 뒷받침합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.