Mask-guided Data Augmentation for Multiparametric MRI Generation with a Rare Hepatocellular Carcinoma
원문 초록
Data augmentation is classically used to improve the overall performance of deep learning models. It is, however, challenging in the case of medical applications, and in particular for multiparametric datasets. For example, traditional geometric transformations used in several applications to generate synthetic images can modify in a non-realistic manner the patients' anatomy. Therefore, dedicated image generation techniques are necessary in the medical field to, for example, mimic a given pathology realistically. This paper introduces a new data augmentation architecture that generates synthetic multiparametric (T1 arterial, T1 portal, and T2) magnetic resonance images (MRI) of massive macrotrabecular subtype hepatocellular carcinoma with their corresponding tumor masks through a generative deep learning approach. The proposed architecture creates liver tumor masks and abdominal edges used as input in a Pix2Pix network for synthetic data creation. The method's efficiency is demonstrated by training it on a limited multiparametric dataset of MRI triplets from $89$ patients with liver lesions to generate $1,000$ synthetic triplets and their corresponding liver tumor masks. The resulting Frechet Inception Distance score was $86.55$. The proposed approach was among the winners of the 2021 data augmentation challenge organized by the French Society of Radiology.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가상현실을 위한 안구 검증
Ocular Verification for Virtual Reality
가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.
조영 전 영상으로부터 조영 후 유방 MRI의 해부학적 구조 인지 합성
Anatomy-Aware Synthesis of Post-Contrast Breast MRI from Pre-Contrast Images
본 연구에서는 종양 및 배경 실질 조영증강(BPE) 영역에 중점을 두어 조영 전 영상으로부터 조영 후 유방 MRI를 합성하는 해부학적 구조 인지(anatomy-aware) 심층 학습(deep learning) 프레임워크를 개발했습니다. 이 후향적 연구에는 6,251쌍의 조영 전 및 조영 후 영상을 가진 649명의 환자가 포함되었습니다. 해당 프레임워크는 유방 마스크 일관성, 병변 영역 지도(lesion-region supervision), 그리고 BPE 영역 지도를 이미지 대 이미지 변환(image-to-image translation) 모델(model)에 통합합니다. 평가는 정량적 화질 지표, 2명의 유방 방사선 전문의가 참여한 판독자 연구, 그리고 다운스트림 Ki-67 분류(classification)를 포함했습니다. 제안된 방법은 전체 영상 및 영역별 평가에서 Pix2Pix, Pix2PixHD, 확산(diffusion) 기반 합성, 그리고 마스크 지도 기반 베이스라인보다 우수한 성능을 보였습니다. Ki-67 분류는 실제 및 합성 영상 학습(training)과 테스트 설정 전반에 걸쳐 통계적으로 유의미한 성능 차이를 보이지 않았으나, 이것이 동등성을 입증하는 것은 아닙니다. 이러한 결과는 해부학적 구조 인지 지도가 합성 충실도를 향상시킴을 시사하며, 조영제 없는 영상 워크플로우를 위한 합성 조영 후 MRI의 추가 연구를 뒷받침합니다.
AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리
AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis
3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
그라비어 인쇄 품질 관리 자동화를 위한 합성 데이터 생성 프레임워크
Synthetic data generation framework for quality control automation in gravure printing
인쇄, 특히 로토그라비어 인쇄에서의 품질 관리는 여전히 느리고 비용이 많이 들며 주관적인 수동 검사에 의존하고 있다. 표면 결함 자동 검출은 로토그라비어 인쇄에서 높은 품질 기준을 유지하는 데 필수적이다. 심층 학습 모델은 자동화의 가능성을 제공한다. 그러나 YOLO나 Vision Transformer와 같은 견고한 심층 학습 모델의 학습은 실제 산업 환경의 결함 이미지가 극히 부족하여 크게 저해된다. 이 한계를 극복하기 위해, 본 논문은 로토그라비어 인쇄 품질 관리에 맞춘 새로운 합성 데이터 생성 프레임워크를 제안한다. 제안된 파이프라인은 특정 인쇄 결함(주름, 줄무늬, 미스레지스트레이션(misregistration) 등)의 고품질 이미지를 자동 생성하고, 이에 대응하는 바운딩 박스와 어노테이션을 출력한다. 프레임워크를 검증하기 위해 7533장의 합성 데이터셋을 생성하여 최신 객체 검출 모델 RFDETR을 학습하는 데 사용했다. 실험 결과, 우리의 합성 데이터로 학습한 모델이 실제 산업 테스트 샘플에서 평균 정밀도(mAP, Mean Average Precision) 80.9%를 달성함을 보여준다. 이 프레임워크는 대규모 수동 데이터 수집 없이 인쇄 라인에서 결함 검사를 자동화하는 무(零)비용·신속 배포 솔루션을 제공한다.
현장(point-of-care) 유도 배치를 위한 실시간 EEG 캡 전극 검출
Real-Time EEG Cap Electrode Detection for Guided Point-of-Care Placement
우리는 라이브 웹캠 스트림에서 EEG 캡 전극을 검출하고 해부학적 배치를 실시간으로 검증하는 2단계 비전 시스템을 제안한다. 단일 클래스 YOLO 검출기가 전극을 위치 특정하고, 기하학적 단계가 얼굴 랜드마크로부터 각 검출 결과를 명명된 10-20 역할에 할당한다. 임상적으로 검증된 Small/Medium/Large 캡을 착용한 5명의 피험자에 대해 피험자 분리(subject-disjoint) leave-one-subject-out(LOSO) 교차 검증으로 평가한 결과, 검출기는 5개의 홀드아웃 fold에서 mAP@.5 = 0.94 +/- 0.07(pooled 0.96)를 달성한다. 전용 leave-one-cap-out 축에서 피험자와 무관하게 특정 캡의 모든 프레임을 홀드아웃하면 Medium과 Large의 mAP@.5는 LOSO 대비 0.01 이내(0.97, 0.97)인 반면 Small은 0.72 +/- 0.28로 하락하며, 이 격차는 캡 스타일보다 피험자 숙련도와 교란(confound)된다. 기하학적 증강(rotation, perspective, mixup)은 추론 비용 없이 평면 내 롤(in-plane-roll) 견고성과 측두(temporal) 전극 재현율을 향상시키며, 랜드마크 기반 머리 크롭(head crop)은 사용 가능 거리 범위를 확장하여 겉보기 스케일(apparent scale) 0.6배에서 mAP@.5를 0.23에서 0.45로 끌어올린다. 컴팩트한 모바일 후보 백본(YOLOv10n)은 640 px에서 범용 CPU 상에서 검출기를 실시간 처리량(19 FPS)으로 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.