Image Generation with Self Pixel-wise Normalization
원문 초록
Region-adaptive normalization (RAN) methods have been widely used in the generative adversarial network (GAN)-based image-to-image translation technique. However, since these approaches need a mask image to infer the pixel-wise affine transformation parameters, they cannot be applied to the general image generation models having no paired mask images. To resolve this problem, this paper presents a novel normalization method, called self pixel-wise normalization (SPN), which effectively boosts the generative performance by performing the pixel-adaptive affine transformation without the mask image. In our method, the transforming parameters are derived from a self-latent mask that divides the feature map into the foreground and background regions. The visualization of the self-latent masks shows that SPN effectively captures a single object to be generated as the foreground. Since the proposed method produces the self-latent mask without external data, it is easily applicable in the existing generative models. Extensive experiments on various datasets reveal that the proposed method significantly improves the performance of image generation technique in terms of Frechet inception distance (FID) and Inception score (IS).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가상 조영증강 유방 MRI를 위한 병변-게이팅 하이브리드 합성: MAMA-SYNTH 챌린지 솔루션
Lesion-Gated Hybrid Synthesis for Virtual Contrast-Enhanced Breast MRI: A MAMA-SYNTH Challenge Solution
목적: 조영증강 유방 MRI는 정맥 내 가돌리늄 기반 조영제에 의존하며, 이는 조영 전(pre-contrast) 영상만으로 조영 후(post-contrast) 모습을 합성하는 방법에 대한 동기를 제공한다. MAMA-SYNTH 챌린지(MICCAI 2026 Deep-Breath 워크숍)는 이러한 합성을 영상 충실도(image fidelity), 종양 관심 영역(tumour region of interest), 다운스트림 분류, 다운스트림 분할(segmentation)의 네 가지 지표 그룹에 걸쳐 평가한다. 네 그룹의 순위는 평균화되므로, 단일 목적 함수를 최적화하는 것만으로는 충분하지 않다. 재료 및 방법: 우리는 병변-게이팅(lesion-gated) 하이브리드 합성 파이프라인을 개발했다. 조영 전 영상만을 사용하는 분할 네트워크 앙상블(ensemble)에 의해 조영 전 슬라이스만으로 추정된 병변 확률 지도는, 종양 중심 회귀(regression) 경로와 배경 중심 Pix2PixHD 합성 경로를 공간적으로 조율하며, 이후 예측된 조영증강에 대한 영역-의존적 보정이 이어진다. 학습(training)에는 환자 단위 분할을 적용한 공개 MAMA-MIA 데이터 수집을 사용했다. 추론(inference)은 단일 조영 전 2D 슬라이스만을 입력으로 사용하며, 마스크, 조영 후 영상, 영상 기하 정보 이외의 보조 메타데이터는 사용하지 않는다. 결과: 내부 검증(validation)(n = 120명의 환자)에서 이 방법은 MSE 0.523, LPIPS 0.185, 종양 영역 SSIM 0.495를 달성했다. 이 방법은 자체 완결형(self-contained) 추론 컨테이너 형태로 비공개 외부 300건 테스트 코호트에 제출되었다. 이 방법은 공식 MAMA-SYNTH 챌린지 리더보드에서 6위를 기록했다. 결론: 조영 전 영상으로부터 도출된, 테스트 시점에도 적용 가능한 병변 확률 지도는 상호 보완적인 종양 중심 회귀와 배경 중심 지각적 합성을 조율할 수 있으며, 이를 통해 다중 지표(multi-metric) 챌린지 환경에서 균형 잡힌 가상 조영증강을 가능하게 한다.
우리가 감정 편집에 대해 이야기할 때 말하는 것
What We Talk About When We Talk About Emotion Editing
감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.
De-GAN - 3D 의료 이미지 분할을 위한 동적 매개변수 튜닝 GAN: 일반화를 향한 한 걸음
De-GAN - Dynamic Parameter Tuned GAN for 3D Medical Image Segmentation: A Step Towards Generalisation
조영증강 종양(ET)은 대비가 낮고 주변 조직과 겹치며, 스캐너 및 촬영 기관의 차이로 인해 도메인 이동(domain shift)이 발생하기 때문에 뇌종양 분할은 여전히 어렵습니다. 본 논문에서는 슬라이스 적응형 FLAIR 영상을 합성하기 위해 입력 적응형 동적 합성곱(dynamic convolution), 스타일 인식 특징(feature) 혼합 및 좌표 인코딩을 결합한 대비 향상 조건부 생성적 적대 신경망(GAN)인 DE-GAN을 제안합니다. 레이블 유도 클래스 조건부 타깃은 해부학적 구조를 보존하면서 종양 코어(TC)와 ET 강도를 분리합니다. 생성된 FLAIR는 원본 MR 모달리티와 연결(concatenate)되어 3D U-Net 학습(training)에 사용됩니다. BraTS 2015, 2018 및 2019 전반에 걸쳐 DE-GAN은 보고된 대부분의 TC/ET 지표에서 기준선(baseline) 및 정적 EnhGAN 대체 대비 분할 성능을 개선했으며, 원본과 향상된 FLAIR를 모두 유지했을 때 가장 큰 이득을 얻었습니다. 코드와 사전학습된 모델은 https://github.com/zkhansuri-ui/DE-GAN 에서 확인할 수 있습니다.
국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델
Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing
흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.
VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가
VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations
기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.
EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이
EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video
내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.