관측 불가능한 이미지 구조의 확산 기반 복원을 위한 연속적 사후 확률 융합
Consecutive Posterior Fusion for Diffusive Recovery of Unobservable Image Structures
한국어 초록
심각한 부적절성(ill-posed)을 지닌 이미징 역문제(inverse problem)를 해결하기 위해서는 측정치로부터 관측할 수 없거나 약하게 제약된 이미지 구조를 복원해야 합니다. 확산 모델(diffusion model)은 이러한 누락된 정보를 추론(inference)하기 위한 표현력 있는 학습 기반 사전 분포(prior)를 제공하며, 사후 확률 샘플링(posterior sampling)은 역과정(reverse process) 전반에 걸쳐 측정 일관성(measurement consistency)을 결합합니다. 그러나 표준 확산 사후 확률 샘플러는 이전 사후 교정에 포함된 정보를 명시적으로 활용하지 않고 순간적인 측정 인지 추정치에만 의존합니다. 본 논문에서는 재학습이나 추가적인 디노이저(denoiser) 평가 없이도 연속적인 측정 인지 추정치를 융합하여 관측 불가능한 이미지 구조의 확산 기반 복원을 향상시키는 추론 시점 전략인 연속적 사후 확률 융합 노이즈 제거 확산 영공간 모델(CPF-DDNM)을 제안합니다. 우리는 치역/영공간(range/null-space) 분해를 통해 연속적 융합이 측정치에 의해 결정되는 성분을 보존하면서 사전 분포 기반 영공간 추정치에만 배타적으로 작용함을 보여주는 DDNM 내에서 이 원리를 구현합니다. 이를 통해 CPF-DDNM에 대한 기하학적 해석과 외삽(extrapolative) 영역을 포함하여 최적의 시간 의존적 융합 계수를 특성화하는 국소 오차 분석을 제공합니다. 희소각(sparse-view) 및 모의 저선량 컴퓨터 단층촬영(CT), 의료 영상 초해상도(super-resolution)에 대한 실험 결과, DDNM 대비 일관된 개선과 확산 기반 역문제 해결 모델 대비 경쟁력 있는 성능을 보여줍니다.
원문 초록
Solving severely ill-posed imaging inverse problems requires recovering image structures that are unobservable or weakly constrained by the measurements. Diffusion models provide expressive learned priors for inferring such missing information, while posterior sampling incorporates measurement consistency along the reverse process. Standard diffusion posterior samplers, however, rely on instantaneous measurement-aware estimates, without explicitly exploiting information carried by previous posterior corrections. We introduce Consecutive Posterior Fusion Denoising Diffusion Null-Space Models (CPF-DDNM), an inference-time strategy that fuses consecutive measurement-aware estimates to improve the diffusive recovery of unobservable image structures, without requiring retraining or additional denoiser evaluations. We instantiate this principle within DDNM, whose range/null-space decomposition reveals that consecutive fusion preserves the measurement-determined component while acting exclusively on the prior-driven null-space estimate. We thus provide a geometric interpretation of CPF-DDNM and a local error analysis that characterizes the optimal time-dependent fusion coefficient, including the extrapolative regime. Experiments on sparse-view and simulated low-dose computed tomography, as well as medical image super-resolution, show consistent improvements over DDNM and competitive performance against diffusion-based inverse solvers.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GenDiff: 저선량 CT 재구성 및 일반화를 위한 용량·해부학 인식 확산 모델과 구조적 사전 정제
GenDiff: A Dose and Anatomy Aware Diffusion Model with Structural Prior Refinement for Low-Dose CT Reconstruction and Generalization
전산화 단층촬영(CT)은 임상 진단에 핵심적인 영상 방식이지만, 방사선 용량을 줄이면 불가피하게 심한 노이즈와 구조적 아티팩트가 발생하여 영상 품질이 저하된다. 기존의 심층 학습 기반 저선량 CT(LDCT) 재구성 방법들은 일반적으로 고정된 용량 수준이나 특정 해부학적 영역에 맞춰 최적화되어, 실제 임상 환경에서의 견고성과 일반화가 제한된다. 본 연구에서는 연속적인 방사선 용량과 해부학적 정보를 통합 재구성 네트워크 내에서 공동으로 모델링하는, LDCT 재구성을 위한 일반화 가능한 확산 기반 프레임워크 GenDiff를 제안한다. 제안 프레임워크는 촬영 인식 임베딩을 학습하는 용량-해부학 인코더(Dose-Anatomy Encoder), 반복적 정제를 위한 용량·해부학 조건화 cold diffusion 백본, CT 순방향 모델에 대한 충실도를 강제하는 물리 일관성 업데이트, 해부학적 구조를 보존하면서 용량 의존적 아티팩트를 억제하는 구조적 사전 정제 모듈(SPRM)을 통합한다. 미세 용량 조건을 포함한 다중 해부학 임상 데이터셋, 분포 외 팬텀 및 동물 데이터셋에 대한 광범위한 실험 결과, GenDiff가 최신 합성곱 신경망 및 확산 기반 재구성 방법들을 일관되게 능가함을 보여준다. 제안 접근법은 다양한 용량 수준, 해부학적 영역, 촬영 도메인에 걸쳐 강한 견고성을 유지하면서 우수한 재구성 품질을 달성하여, 실용적인 저선량 CT 영상에 유망한 해결책이 될 수 있음을 시사한다.
임의 의료 슬라이스 초해상도를 위한 이중 사전 가이드 영공간 학습과 스플라인 혼합
Dual-Prior Guided Null-Space Learning with Mixture-of-Splines for Arbitrary Medical Slice Super-Resolution
임의 슬라이스 초해상도(arbitrary slice super-resolution)는 임의 배율의 중간 슬라이스를 합성하여 이방성(anisotropic) 임상 촬영으로부터 등방성(isotropic) 볼륨을 재구성한다. 그러나 이러한 불안정한(ill-posed) 역문제(inverse problem)를 제약 없는 잔차 기반 회귀(residual-based regression)로 다루면, 해부학적으로 타당하지 않은 구조를 환각(hallucination)하거나 원래 관측된 데이터를 변형할 위험이 있다. 이 두 가지 우려를 해결하기 위해, 본 논문은 이중 사전 영공간 학습(Dual-Prior Null-space Learning, DP-NSL) 프레임워크를 제안하며, 이는 두 가지 상보적 사전(prior)에 의해 안내되는 제약 복원(constrained recovery) 과정으로 과제를 재공식화한다. 측정 일관성 투영(Measurement-Consistent Projection, MCP)은 결정론적 관측 사전(Deterministic Observation Prior)을 강제한다: 재구성은 획득된 모든 슬라이스를 오차 없이 정확히 재현하는 직교 투영(orthogonal projection)을 거치며, 학습된 모든 세부 정보를 관측 불가능한 영공간(null space)에 한정한다. 이 영공간 내에서 스플라인 혼합(Mixture-of-Splines, MoS) 모듈은 서로 다른 해석적 차수의 B-스플라인 전문가를 동적으로 혼합하여 기하학적 연속성 사전(Geometric Continuity Prior)을 부과하며, 각 해부학적 영역을 내용 인지(content-aware) 수준의 연속성으로 모델링할 수 있게 한다. 공간적 일관성을 높이기 위해, 국소 공간 일관성 디코더(Local Spatial Consistency Decoder, LSCD)가 국소 귀납적 바이어스(local inductive bias)를 추가로 주입한다. 세 개의 CT와 하나의 MRI 벤치마크(benchmark)에서의 실험은 DP-NSL이 측정 일관성(measurement consistency)을 엄격히 보존하면서 기존 접근법을 능가함을 보여준다. 코드는 https://github.com/DeepMed-Lab-ECNU/Medical-Image-Reconstruction 에서 이용할 수 있다.
Noise2Inverse를 활용한 자기지도 학습 기반 Learned Primal-Dual 실현
Enabling self-supervised learned primal dual with Noise2Inverse
X선 컴퓨터 단층촬영(CT) 복원은 불량 조건 역문제로, 특히 측정값에 잡음이 있고 불완전한 저선량 및 희소 각도 환경에서 어려움이 크다. Learned Primal-Dual 알고리즘과 같은 학습 기반 복원 방법은 높은 성능을 달성하지만, 일반적으로 실제 환경에서 구하기 어려운 정답 데이터에 접근 가능한 지도 학습을 전제로 한다. 본 연구에서는 Noise2Inverse 프레임워크를 Learned Primal-Dual 알고리즘으로 확장하여 자기지도 복원 방법을 제안한다. Noise2Inverse Learned Primal-Dual(N2I-LPD)로 명명된 이 방법은 CT 스캔의 각도 회전에 대한 독립적인 측정값들 간 잡음의 통계적 독립성을 활용함으로써, 정답 영상 없이도 학습된 반복 복원 연산자를 학습할 수 있게 한다. 제안된 방법을 고전적 복원 방법들과, 동일한 N2I 프레임워크 내에서 학습된 U-Net을 포함한 신경망 기반 접근법들과 비교한다. 실험 결과, N2I-LPD가 향상된 복원 품질을 달성함을 보여 주며, 이는 정답 데이터를 구할 수 없는 실제 CT 영상 환경에서 학습된 복원 연산자와 자기지도 학습 전략을 결합하는 접근법의 잠재력을 부각시킨다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여
TomoTransformer: Towards a Foundation Model for CT Reconstruction
지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
21 pages, 7 figures, 2 tables