arXiv:2610.00805v1 eess.IV

국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델

Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing

Kamran Ullah Afaq, Basit Raza

제출 2026-09-30

저자 비고

arXiv Comments

16 pages, 1 figure, 10 tables

한국어 초록

흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.

원문 초록

Editing a chest radiograph requires completing the requested change while preserving unrelated content. We study a latent diffusion editor with an instruction-independent source trajectory and an instruction-conditioned editing trajectory. A learned gate mixes their post-sampler candidates at each executed step, and a separate image-space mask composites the decoded proposal with the source. On 2,400 MIMIC-derived requests, 2,244 outputs met the joint target, preservation, quality, and coverage rubric (93.5%), and target completion was 97.4%. Joint validity exceeded a matched composition-only control by 1.7 percentage points (paired patient-cluster 95% interval, 0.6--2.8). At a fixed learned mask, the learned-gate proposal improved joint validity by 1.6 points (0.8--2.4); at a fixed learned proposal, the learned mask improved it by 2.6 points (1.7--3.5). Across three training seeds, mean joint validity was 93.5% with a 0.3-point sample standard deviation. A blinded 240-request assessment yielded adjudicated joint validity of 93.3% for the full editor and 91.7% for composition only. Protected-region mean absolute error decreased from 0.0190 in the raw proposal to 0.0075 after composition. These findings distinguish recurrent-gating effects on the proposal from preservation through final composition in the assessed cohort.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00805v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27015v1cs.CV공통 태그 Image Generation, Image-to-Image Translation, Medical Image Analysis

조영 전 영상으로부터 조영 후 유방 MRI의 해부학적 구조 인지 합성

Anatomy-Aware Synthesis of Post-Contrast Breast MRI from Pre-Contrast Images

본 연구에서는 종양 및 배경 실질 조영증강(BPE) 영역에 중점을 두어 조영 전 영상으로부터 조영 후 유방 MRI를 합성하는 해부학적 구조 인지(anatomy-aware) 심층 학습(deep learning) 프레임워크를 개발했습니다. 이 후향적 연구에는 6,251쌍의 조영 전 및 조영 후 영상을 가진 649명의 환자가 포함되었습니다. 해당 프레임워크는 유방 마스크 일관성, 병변 영역 지도(lesion-region supervision), 그리고 BPE 영역 지도를 이미지 대 이미지 변환(image-to-image translation) 모델(model)에 통합합니다. 평가는 정량적 화질 지표, 2명의 유방 방사선 전문의가 참여한 판독자 연구, 그리고 다운스트림 Ki-67 분류(classification)를 포함했습니다. 제안된 방법은 전체 영상 및 영역별 평가에서 Pix2Pix, Pix2PixHD, 확산(diffusion) 기반 합성, 그리고 마스크 지도 기반 베이스라인보다 우수한 성능을 보였습니다. Ki-67 분류는 실제 및 합성 영상 학습(training)과 테스트 설정 전반에 걸쳐 통계적으로 유의미한 성능 차이를 보이지 않았으나, 이것이 동등성을 입증하는 것은 아닙니다. 이러한 결과는 해부학적 구조 인지 지도가 합성 충실도를 향상시킴을 시사하며, 조영제 없는 영상 워크플로우를 위한 합성 조영 후 MRI의 추가 연구를 뒷받침합니다.

arXiv:2609.20816v2cs.CV공통 태그 Image Generation, Image-to-Image Translation, Image Editing

Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.

arXiv:2609.22397v1eess.IV공통 태그 Image Generation, Image-to-Image Translation, Medical Image Analysis

가상 조영증강 유방 MRI를 위한 병변-게이팅 하이브리드 합성: MAMA-SYNTH 챌린지 솔루션

Lesion-Gated Hybrid Synthesis for Virtual Contrast-Enhanced Breast MRI: A MAMA-SYNTH Challenge Solution

목적: 조영증강 유방 MRI는 정맥 내 가돌리늄 기반 조영제에 의존하며, 이는 조영 전(pre-contrast) 영상만으로 조영 후(post-contrast) 모습을 합성하는 방법에 대한 동기를 제공한다. MAMA-SYNTH 챌린지(MICCAI 2026 Deep-Breath 워크숍)는 이러한 합성을 영상 충실도(image fidelity), 종양 관심 영역(tumour region of interest), 다운스트림 분류, 다운스트림 분할(segmentation)의 네 가지 지표 그룹에 걸쳐 평가한다. 네 그룹의 순위는 평균화되므로, 단일 목적 함수를 최적화하는 것만으로는 충분하지 않다. 재료 및 방법: 우리는 병변-게이팅(lesion-gated) 하이브리드 합성 파이프라인을 개발했다. 조영 전 영상만을 사용하는 분할 네트워크 앙상블(ensemble)에 의해 조영 전 슬라이스만으로 추정된 병변 확률 지도는, 종양 중심 회귀(regression) 경로와 배경 중심 Pix2PixHD 합성 경로를 공간적으로 조율하며, 이후 예측된 조영증강에 대한 영역-의존적 보정이 이어진다. 학습(training)에는 환자 단위 분할을 적용한 공개 MAMA-MIA 데이터 수집을 사용했다. 추론(inference)은 단일 조영 전 2D 슬라이스만을 입력으로 사용하며, 마스크, 조영 후 영상, 영상 기하 정보 이외의 보조 메타데이터는 사용하지 않는다. 결과: 내부 검증(validation)(n = 120명의 환자)에서 이 방법은 MSE 0.523, LPIPS 0.185, 종양 영역 SSIM 0.495를 달성했다. 이 방법은 자체 완결형(self-contained) 추론 컨테이너 형태로 비공개 외부 300건 테스트 코호트에 제출되었다. 이 방법은 공식 MAMA-SYNTH 챌린지 리더보드에서 6위를 기록했다. 결론: 조영 전 영상으로부터 도출된, 테스트 시점에도 적용 가능한 병변 확률 지도는 상호 보완적인 종양 중심 회귀와 배경 중심 지각적 합성을 조율할 수 있으며, 이를 통해 다중 지표(multi-metric) 챌린지 환경에서 균형 잡힌 가상 조영증강을 가능하게 한다.

arXiv:2609.22635v1eess.IV공통 태그 Image Generation, Image-to-Image Translation, Medical Image Analysis

AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리

AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis

3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.

arXiv:2610.13558v1cs.CV공통 태그 Image Generation, Image-to-Image Translation

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.