On Instabilities of Unsupervised Denoising Diffusion Models in Magnetic Resonance Imaging Reconstruction
원문 초록
Denoising diffusion models offer a promising approach to accelerating magnetic resonance imaging (MRI) and producing diagnostic-level images in an unsupervised manner. However, our study demonstrates that even tiny worst-case potential perturbations transferred from a surrogate model can cause these models to generate fake tissue structures that may mislead clinicians. The transferability of such worst-case perturbations indicates that the robustness of image reconstruction may be compromised due to MR system imperfections or other sources of noise. Moreover, at larger perturbation strengths, diffusion models exhibit Gaussian noise-like artifacts that are distinct from those observed in supervised models and are more challenging to detect. Our results highlight the vulnerability of current state-of-the-art diffusion-based reconstruction models to possible worst-case perturbations and underscore the need for further research to improve their robustness and reliability in clinical settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
문제가 보이는 곳이 해결하는 곳은 아니다: 확산 모델 구성에서의 디노이징 이전 진단과 모달리티 의존적 제어
Where to Look Is Not How to Fix: Pre-Denoising Diagnostics and Modality-Dependent Control in Diffusion Composition
텍스트-이미지 확산(diffusion) 모델에서 구성적 실패(compositional failure)를 이해하려면 스트레스가 감지되는 위치와 개입(intervention)이 출력을 어떻게 변화시키는지 모두 파악해야 합니다. 본 연구에서는 텍스트 인코더 진단과 디노이저 개입을 함께 평가하는 통제된 앵커-스트레스 프로토콜을 통해 이러한 질문들을 탐구합니다. 저자들은 SD1.5, SDXL 및 SD3 텍스트 경로 전반에서 흔한 구성과 희귀한 구성을 구분하고 업스트림 진단 좌표를 제공하는 텍스트 전용 구성 스트레스 지수(CSI, Compositional Stress Index)를 도입합니다. 매칭된 6개 프롬프트(prompt) 국소화 연구는 개입 위치를 서로 다른 결과와 연결합니다. 즉, 잔차 최소화 임베딩(embedding) 어댑터는 표현 적합도를 향상시키는 반면, 다운스트림 크로스 어텐션(cross-attention) 개입은 색상 적중률(CHR)을 0.0272 증가시킵니다. SD1.5와 SDXL 디노이저 블록 전반에서 가장 큰 양의 진단 접근성 평균은 딥 인코더에서 나타나는 반면, 선택적 부스트는 디코더 블록에서 가장 큰 양의 평균 CHR 반응을 보입니다. 선택적 차감 및 광범위한 어블레이션은 추가적인 모달리티 및 아키텍처 의존적 반응을 드러내며, 여기에는 SDXL 디코더 크로스 어텐션이 광범위하게 제거될 때 상당한 CHR 감소가 포함됩니다. 본 연구는 통제된 속성-객체 구성 설정에서 진단과 제어의 해리(dissociation)를 발견했습니다. 구성적 결함은 디노이징 이전에 진단할 수 있지만, 위험을 드러내는 표현 좌표가 생성을 개선하는 좌표나 모달리티와 반드시 일치하는 것은 아닙니다.
DualStabSleepNet: 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크
DualStabSleepNet: A Dual-Domain Diffusion Stabilization Network for Robust Sleep Staging
자동 수면 단계 분류를 위한 기존 심층 학습 방법은 이질적인 기록 조건에서 견고성이 제한되는데, 비정상성 노이즈, 피험자 간 차이, 데이터셋 간 분포 이동이 불안정한 특징과 낮은 일반화를 유발한다. 본 연구는 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크인 DualStabSleepNet(DSSNet)을 제안하며, 데이터 영역과 특징 영역 모두에서 견고성을 향상시킨다. 다채널 다원수면기록(PSG) 전처리 후, 연속 스케일 확산 기반 안정화 모듈이 생리학적 신호 구조를 보존하면서 노이즈를 억제한다. 안정화된 신호는 시간-주파수 표현으로 변환되어 Vision Transformer 백본에 입력된다. 교사-학생 유도 확산 특징 안정화 모듈이 특징 drift를 추가로 완화하고 다수준 특징 일관성을 강제한다. 공개 PSG 데이터셋 SleepEDF-20, SleepEDF-78, SHHS, ISRUC-S3 네 곳에서 평가한 결과, DSSNet은 각각 89.2%, 88.0%, 89.7%, 86.7%의 최첨단 정확도를 달성했으며 macro-F1과 Cohen's kappa도 개선되었다. 어려운 전이 단계(예: SHHS에서 N1에 대해 12.5%p 향상)에서 눈에 띄는 개선을 보였고 N2/REM 인식도 향상시켰다. 데이터셋 간 설정에서는 DSSNet이 분포 이동에 견고하며, 대상 데이터셋에서 학습한 baseline과 동등하거나 더 우수한 성능을 보여, 이질적인 코호트 전반의 실제 수면 단계 분류에 대한 실용적 잠재력을 입증한다.
고차원 잠재 표현의 확산 가능성에 관하여
On the Diffusibility of High-Dimensional Latents
표현 오토인코더(RAE)는 확산 모델이 사전학습된 시각 인코더의 특징 공간에서 동작하도록 한다. 그러나 많은 기성 인코더는 충실한 재구성을 위해 최적화되어 있지 않아 세밀한 시각적 세부를 버린다. 예상대로, 이미지 재구성을 위해 이러한 인코더를 파인튜닝하면 해당 세부가 복원된다. 그러나 직관에 반하게, 이 절차는 결과 표현의 유효 차원을 줄이며, 변경된 기하학은 생성에 하류 영향을 미친다. 구체적으로, 우리는 이 고차원 공간에서 flow matching의 표준 velocity 예측을 사용하면 모델이 저차원 신호 매니폴드 밖의 직교 노이즈 방향에 맞춰야 하여 최적화가 비효율적임을 보인다. 이에 따라 대신 clean data parameterization($\boldsymbol{x}_{0}$-prediction)을 사용하도록 동기가 생기며, 이는 기저 신호 매니폴드上的 학습에 초점을 맞춘다. 강한 재구성 인코더 여러 개에 걸친 실험에서, $\boldsymbol{x}_{0}$-prediction이 텍스트-이미지 생성 성능을 일관되게 향상시킴을 보인다.
단일 광자 비디오 촬영을 위한 시공간 플럭스 프로빙
Spatiotemporal Flux Probing for Single-Photon Videography
본 연구에서는 극단적인 광자 희소성 환경의 동적 장면에서 고속 비디오를 복원하는 문제를 다룹니다. 기존 방법들은 신호 대 잡음비(SNR)를 개선하기 위해 국소 시공간 윈도우 내에서 광자 검출을 집합하는 방식에 의존하지만, 이러한 국소적 그룹화는 전역적 구조를 버리게 되어 공간과 시간 모두에서 광자 검출이 희소한 극저조도 환경에서는 실패합니다. 본 연구에서는 모션과 조도를 모두 복원하는 데 필요한 정보가 광자 도달의 전체 시공간 패턴에 걸친 상관관계(correlation)에 인코딩되어 있음을 보입니다. 이러한 통찰을 바탕으로, 광자 스트림으로부터 기저 광 강도의 푸리에 계수(Fourier coefficients)를 직접 추정하는 시공간 플럭스 프로빙(spatiotemporal flux probing) 이론과 알고리즘을 개발합니다. 실험을 통해 본 접근법이 (1) 이전 방법보다 훨씬 적은 수의 광자로 빠른 모션과 시간적 조도 변화를 복원하고, (2) 감지된 특정 모션에 비디오의 초점을 자동으로 맞추는 속도 선택적 비디오 촬영을 가능하게 하며, (3) 단일 광자, 이벤트 및 스파이크 카메라를 포함한 다양한 센싱 모달리티 전반에 걸쳐 일반화됨을 입증합니다.
PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해
PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
Patch-to-Global: 전체 슬라이드 이미지에서 전역 일관 메가픽셀 아티팩트 인페인팅을 위한 랜덤 패치 확산
Patch-to-Global: Random Patch Diffusion for Globally Consistent Megapixel Artifact Inpainting in Whole Slide Images
심층 학습이 전체 슬라이드 이미지(WSI) 분석을 발전시켰지만, 기포나 주름과 같은 조직 아티팩트는 필수 형태학을 가려 침묵 실패(silent failures)를 자주 유발한다. 현재 병리학 이미지 복원 방법은 대부분 작은 패치에 국한되어 메가픽셀 규모에서 전역 구조적 일관성을 유지하기 어렵다. 우리는 조직학적 이미지에서 진단 구조를 재구성하여 잘못된 고신뢰도 예측을 방지하고 오류율을 낮추는, 전역 일관 메가픽셀 규모 인페인팅을 위한 프레임워크 RestorePath를 제안한다. 우리 모델은 병리학 파운데이션 모델(PFM) 임베딩을 조건으로 하는 잠재 확산 모델(LDM)을 활용하며, 랜덤 패치 확산 동안 장거리 의존성을 다루기 위해 Large Kernel Attention(LKA)를 통합한다. Distance-Weighted Interpolation(DWI)과 Adaptive Guidance Scale(AGS)로 강화된 RestorePath는 주변 패치의 정보를 조절하여 구조적 일관성과 충실도를 보장한다. 512~4608픽셀 범위의 이미지에 대해 TCGA-BRCA, BACH, Camelyon16 데이터셋에서의 평가는 조직학적 일관성 유지에서 최신(state-of-the-art) 성능을 보여준다. RestorePath는 하류 계산 병리학(CP) 과제를 유의미하게 개선하며, 원본 아티팩트 이미지와 기존 Detect-and-Discard(D&D) 접근법 모두를 능가한다. 코드는 https://github.com/PathfinderLab/RestorePath 에서 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.