arXiv:2405.17659

Enhancing Global Sensitivity and Uncertainty Quantification in Medical Image Reconstruction with Monte Carlo Arbitrary-Masked Mamba

Jiahao Huang, Liutao Yang, Fanwen Wang, Yang Nan, Weiwen Wu, Chengyan Wang, Kuangyu Shi, Angelica I. Aviles-Rivero, Carola-Bibiane Schönlieb, Daoqiang Zhang, Guang Yang

제출 2024-05-27

원문 초록

Deep learning has been extensively applied in medical image reconstruction, where Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs) represent the predominant paradigms, each possessing distinct advantages and inherent limitations: CNNs exhibit linear complexity with local sensitivity, whereas ViTs demonstrate quadratic complexity with global sensitivity. The emerging Mamba has shown superiority in learning visual representation, which combines the advantages of linear scalability and global sensitivity. In this study, we introduce MambaMIR, an Arbitrary-Masked Mamba-based model with wavelet decomposition for joint medical image reconstruction and uncertainty estimation. A novel Arbitrary Scan Masking (ASM) mechanism "masks out" redundant information to introduce randomness for further uncertainty estimation. Compared to the commonly used Monte Carlo (MC) dropout, our proposed MC-ASM provides an uncertainty map without the need for hyperparameter tuning and mitigates the performance drop typically observed when applying dropout to low-level tasks. For further texture preservation and better perceptual quality, we employ the wavelet transformation into MambaMIR and explore its variant based on the Generative Adversarial Network, namely MambaMIR-GAN. Comprehensive experiments have been conducted for multiple representative medical image reconstruction tasks, demonstrating that the proposed MambaMIR and MambaMIR-GAN outperform other baseline and state-of-the-art methods in different reconstruction tasks, where MambaMIR achieves the best reconstruction fidelity and MambaMIR-GAN has the best perceptual quality. In addition, our MC-ASM provides uncertainty maps as an additional tool for clinicians, while mitigating the typical performance drop caused by the commonly used dropout.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 Uncertainty Quantification, Sensitivity

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2610.02675v1eess.IV공통 태그 Image Reconstruction, Uncertainty Quantification

하나의 광자, 다양한 세계: 단일 광자 카메라를 통한 사후 확률 및 예측

One Photon, Many Worlds: Posteriors and Predictions with Single-Photon Cameras

단일 광자 눈사태 다이오드(SPAD) 카메라는 광자 계수(photon-counting) 특성으로 인해 기존 카메라와 근본적으로 다르게 작동합니다. 각 프레임은 이진 이미지를 생성합니다. 즉, 노출 시간 동안 광자가 도달하지 않은 픽셀은 0을, 하나 이상의 광자가 도달한 픽셀은 1을 기록합니다. 단일 이진 프레임으로부터 장면을 재구성하거나 그 특성을 추론(inference)하는 것은 여러 서로 다른 이미지가 동일한 측정값을 생성할 수 있기 때문에 어렵습니다. 따라서 이 역문제(inverse problem)는 근본적으로 일대다(one-to-many) 관계를 가집니다. 더 많은 이진 측정값을 수집할수록 역문제 및 관련 추론에 내재된 불확실성은 감소합니다. 광자 수가 충분해지면 신호 평균에 비해 광자 노이즈가 무시할 수 있는 수준이 되어 거의 결정론적인 장면 복원 및 추론이 가능해집니다. 본 연구는 광자 예산(photon budget)이 증가함에 따라 확률적 장면 이해에서 거의 결정론적인 장면 이해로 전환되는 과정을 규명하고, 광자 도달의 확률성이 하류(downstream) 추론 작업에 미치는 영향을 분석합니다. 기술적으로는 누적된 이진 SPAD 측정값을 위해 초기하 프레임 박형화(Hypergeometric frame-thinning) 과정을 기반으로 하는 조건부 생성 프레임워크를 개발합니다. 생성 모델은 광자가 극도로 부족한(photon-starved) 역문제의 일대다 특성을 포착하여, 측정값이 증가함에 따라 이러한 모호성이 어떻게 감소하는지와 문자 인식, QR 코드 디코딩, 얼굴 분석과 같은 하류 작업에 미치는 영향을 실증적으로 규명할 수 있도록 합니다.

arXiv:2609.27785v1q-fin.RM공통 태그 Generative Adversarial Network, Uncertainty Quantification

준이산 최적 수송(Semi-Discrete Optimal Transport)을 통한 립시츠 연속성을 넘어선 금융 꼬리 위험 분석

Financial Tail Risk Beyond Lipschitz Continuity via Semi-Discrete Optimal Transport

금융 수익률은 두꺼운 꼬리(heavy-tailed) 분포를 따르며, 정확한 꼬리 위험 추정은 포트폴리오 리스크 관리의 핵심이다. 최신 신경망 생성 모델은 단순한 기저 분포를 학습된 사상(map)에 통과시켜 표본을 생성하며, 학습 안정성을 위해 이 사상은 립시츠(Lipschitz) 구성 요소로 만들어진다. 바로 이것이 결정적인 제약이다. 가우시안의 립시츠 사상은 서브가우시안(sub-Gaussian)이므로, 꼬리가 더 두꺼운 목표 분포는 어떠한 유한한 립시츠 상수에서도 정확 일치(exact match)를 이룰 수 없다. Monge–Ampère 방정식은 Brenier 사상의 국소적 왜곡을 밀도비 $f/(g\circ T)$와 연결하므로, 목표 밀도의 골이 깊을수록 더 높은 이득(gain)을 가진 사상이 필요하고 추정량의 분산도 더 커진다. 이 논증은 유계 왜곡(bounded distortion)만을 요구하므로, 정규화 플로(normalizing flow), 플로 매칭(flow matching), GAN, 확산(diffusion) 샘플러를 모두 포괄한다. 준이산 최적 수송(Semi-Discrete Optimal Transport, SDOT)은 소스의 꼬리 부류가 아니라 사상의 정則성(regularity)을 완화한다. SDOT의 파워 다이어그램(power diagram)은 학습 관측치마다 소스 측도의 정확히 $1/N$을 담는 셀을 부여하며, 꼬리 관측치는 사상을 늘려서가 아니라 셀 경계를 넘어 도달한다. 주요 실험에서는 첨도(kurtosis) 94에서 1,679에 이르도록 보정된 Merton 점프-확산(jump-diffusion) 모형의 심각도를 변화시키며 평가한다. SDOT는 꼬리 비율을 $0.85$--$0.94$로 유지하고 시드 간 표준편차도 $0.025$ 미만인 반면, 학습 기반 생성 모델은 모두 꼬리를 압축하거나, 그렇지 않으면 함께 커지는 분산과 함께 꼬리를 부풀린다. 추가 실험에서는 이 결과를 실제 S&P~500 수익률과 21년간의 백테스트로 확장하며, 여기서 SDOT는 CVaR 최적화 하에서 위험 조정 성과가 가장 우수한 시장중립 전략을 제공한다(샤프 비율 $0.70$, 최대 낙폭 $-2.60\%$이며, 차순위 생성 모델은 샤프 비율 $0.40$).

arXiv:2609.27221v1cs.LG공통 태그 Uncertainty Quantification, Sensitivity

컨포멀 타원체를 위한 꼬리 인식 기하학 학습

Tail-Aware Geometry Learning for Conformal Ellipsoids

본 논문에서는 유한 표본 커버리지 보장을 제공하는 분포 무관(distribution-free) 불확실성 정량화(uncertainty quantification) 프레임워크인 다변량 컨포멀 예측(CP)을 연구한다. 다변량 예측 집합의 효율성은 부적합도 점수(nonconformity score)로 인코딩된 잔차 기하학에 결정적으로 의존하지만, 기존의 최소 부피 방법들은 꼬리 잔차의 심각성을 무시하고 기하학 학습을 커버리지 수준과 암묵적으로 결합하는 분위수 임계값에 의존한다. 본 연구에서는 기하학 학습에서의 꼬리 민감도를 최종 커버리지 보장과 분리하는 컨포멀 타원체 대상의 꼬리 인식(tail-aware) 기하학 학습 프레임워크를 제안한다. 2분할(two-split) 설계를 사용하여, 추정 분할 상에서 CVaR 제약 조건 하의 부피 최소화를 통해 메트릭 행렬을 학습한 다음, 홀드아웃된 보정 분할 상에서 표준 컨포멀 보정을 적용한다. 결과로 도출되는 문제는 볼록(convex) 문제이며, 잔차가 큰 샘플을 우선시하는 유계 재가중(bounded-reweighting) 해석을 허용한다. 나아가 타원체 부피와 꼬리 심각도 간의 트레이드오프를 이론적으로 규명한다. 실험 결과는 제안된 방법의 효과를 입증한다.

arXiv:2609.27131v1cs.CV공통 태그 Generative Adversarial Network, Uncertainty Quantification

불확실성 추정을 갖춘 적응형 계층화 앙상블 학습을 통한 태양 자기력선도 초해상도

Super-Resolution of Solar Magnetograms via Adaptive Stratified Ensemble Learning with Uncertainty Estimation

태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.