MRI to PET Cross-Modality Translation using Globally and Locally Aware GAN (GLA-GAN) for Multi-Modal Diagnosis of Alzheimer's Disease
원문 초록
Medical imaging datasets are inherently high dimensional with large variability and low sample sizes that limit the effectiveness of deep learning algorithms. Recently, generative adversarial networks (GANs) with the ability to synthesize realist images have shown great potential as an alternative to standard data augmentation techniques. Our work focuses on cross-modality synthesis of fluorodeoxyglucose~(FDG) Positron Emission Tomography~(PET) scans from structural Magnetic Resonance~(MR) images using generative models to facilitate multi-modal diagnosis of Alzheimer's disease (AD). Specifically, we propose a novel end-to-end, globally and locally aware image-to-image translation GAN (GLA-GAN) with a multi-path architecture that enforces both global structural integrity and fidelity to local details. We further supplement the standard adversarial loss with voxel-level intensity, multi-scale structural similarity (MS-SSIM) and region-of-interest (ROI) based loss components that reduce reconstruction error, enforce structural consistency at different scales and perceive variation in regional sensitivity to AD respectively. Experimental results demonstrate that our GLA-GAN not only generates synthesized FDG-PET scans with enhanced image quality but also superior clinical utility in improving AD diagnosis compared to state-of-the-art models. Finally, we attempt to interpret some of the internal units of the GAN that are closely related to this specific cross-modality generation task.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도시 전자기장 지도 예측을 위한 다중 모달 조건 고해상도 트랜스포머
Multi-Modal Conditioned High-Resolution Transformer for Urban Electromagnetic Field Map Prediction Download PDF
도시 환경에서 전자기장(EMF) 강도를 예측하는 것은 셀룰러 네트워크 계획에 필수적이지만, 물리 기반 시뮬레이터를 사용하면 계산 비용이 크다. 건물 배치 이미지와 안테나 구성으로부터 500×500 EMF 지도를 생성하는 다중 조건 밀집 예측 프레임워크를 제안한다. 우리 아키텍처는 고해상도 트랜스포머(HRFormer) 백본을 사용하며, 두 가지 상보적 조건화 메커니즘을 갖는다. Feature-wise Linear Modulation(FiLM)은 스칼라 안테나 매개변수를 모든 백본 단계에 주입하고, 크로스 어텐션(cross-attention)은 가장 깊은 단계에서 1차원 방사 패턴 토큰과 공간 특징을 융합한다. 또한 안테나로부터의 거리, 근접성, 방위를 인코딩하는 송신기 상대 공간 채널을 도입하여, 좌표 일관 test-time augmentation(TTA)을 가능하게 하고 이를 통해 테스트 MAE를 6.3% 감소시킨다. EMF 지도 전반에 걸친 예측 난이도 불균형을 해결하기 위해, 마스크 L1, 다중 스케일 구조적 유사성(MS-SSIM), 고신호 픽셀에 가중치를 부여하는 focal L1 항을 결합한 복합 손실을 설계하여 모든 지표에서 개별 손실 구성 요소보다 우수한 성능을 달성한다. 최고 성능 모델은 테스트 MAE 0.0461을 달성하여, 단순 UNet 기준선 대비 25.2%, HRFormer만 사용한 기준선 대비 31.8% 개선을 보인다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델
Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data
다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.
TMI: 롱테일 인스턴스 분할 향상을 위한 보완적 데이터 합성에서 텍스트-이미지와 이미지-이미지의 결합
TMI: Text-to-Image Meets Image-to-Image for Complementary Data Synthesis to Boost Long-Tailed Instance Segmentation
대규모 어휘 인스턴스 분할(instance segmentation)은 롱테일(long-tailed) 카테고리 분포와 세밀한 클래스 간 모호성에 의해 제약을 받는다. 데이터 합성이 유망한 대안을 제시하지만, 현재의 패러다임은 상호 보완적인 한계를 지닌다. 텍스트-이미지(T2I) 방법은 노이즈가 많은 의사 레이블(pseudo-label)을 그대로 이어받고 희귀 클래스에서 어려움을 겪는 반면, 복사-붙여넣기(copy-paste) 방법은 문맥적 사실성을 저해한다. 이러한 문제를 해결하기 위해, 우리는 T2I 생성과 문맥 인식 이미지-이미지(I2I) 편집을 결합한 하이브리드 파이프라인을 제안한다. T2I 브랜치는 광범위한 카테고리 및 장면 다양성을 제공하며, 교사-학생(teacher-student) 방식은 프롬프트로 지정된 카테고리만을 선택적으로 유지함으로써 레이블 신뢰성을 보장한다. 희귀 클래스에 대한 지도(supervision)를 강화하기 위해, 우리는 새로운 I2I 편집기인 VRAIN(Verified Rare-class Augmentation via INstructed editing)을 도입한다. VRAIN은 고신뢰도 인스턴스를 실제 장면 내의 의미적으로 적절한 위치에 삽입하여, 도메인 격차를 줄이고 목표 지향적 증강을 가능하게 하는 의미적으로 일관되고 시각적으로 자연스러운 편집 결과를 생성한다. LVIS 벤치마크에서, 우리의 방법은 기존 베이스라인을 능가하여 전체 AP를 최대 +4.0포인트, 희귀 클래스 AP를 최대 +9.5포인트 향상시키며, 백본 용량에 따라 효과적으로 확장된다. 프로젝트 페이지는 https://seokhunchoi.github.io/TMI 에서 확인할 수 있다.
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.