arXiv:2106.15097

IREM: High-Resolution Magnetic Resonance (MR) Image Reconstruction via Implicit Neural Representation

Qing Wu, Yuwei Li, Lan Xu, Ruiming Feng, Hongjiang Wei, Qing Yang, Boliang Yu, Xiaozhao Liu, Jingyi Yu, Yuyao Zhang

제출 2021-06-29

원문 초록

For collecting high-quality high-resolution (HR) MR image, we propose a novel image reconstruction network named IREM, which is trained on multiple low-resolution (LR) MR images and achieve an arbitrary up-sampling rate for HR image reconstruction. In this work, we suppose the desired HR image as an implicit continuous function of the 3D image spatial coordinate and the thick-slice LR images as several sparse discrete samplings of this function. Then the super-resolution (SR) task is to learn the continuous volumetric function from a limited observations using an fully-connected neural network combined with Fourier feature positional encoding. By simply minimizing the error between the network prediction and the acquired LR image intensity across each imaging plane, IREM is trained to represent a continuous model of the observed tissue anatomy. Experimental results indicate that IREM succeeds in representing high frequency image feature, and in real scene data collection, IREM reduces scan time and achieves high-quality high-resolution MR imaging in terms of SNR and local image detail.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.26716v2eess.IV공통 태그 Anatomy, Image Reconstruction, Super-Resolution

임의 의료 슬라이스 초해상도를 위한 이중 사전 가이드 영공간 학습과 스플라인 혼합

Dual-Prior Guided Null-Space Learning with Mixture-of-Splines for Arbitrary Medical Slice Super-Resolution

임의 슬라이스 초해상도(arbitrary slice super-resolution)는 임의 배율의 중간 슬라이스를 합성하여 이방성(anisotropic) 임상 촬영으로부터 등방성(isotropic) 볼륨을 재구성한다. 그러나 이러한 불안정한(ill-posed) 역문제(inverse problem)를 제약 없는 잔차 기반 회귀(residual-based regression)로 다루면, 해부학적으로 타당하지 않은 구조를 환각(hallucination)하거나 원래 관측된 데이터를 변형할 위험이 있다. 이 두 가지 우려를 해결하기 위해, 본 논문은 이중 사전 영공간 학습(Dual-Prior Null-space Learning, DP-NSL) 프레임워크를 제안하며, 이는 두 가지 상보적 사전(prior)에 의해 안내되는 제약 복원(constrained recovery) 과정으로 과제를 재공식화한다. 측정 일관성 투영(Measurement-Consistent Projection, MCP)은 결정론적 관측 사전(Deterministic Observation Prior)을 강제한다: 재구성은 획득된 모든 슬라이스를 오차 없이 정확히 재현하는 직교 투영(orthogonal projection)을 거치며, 학습된 모든 세부 정보를 관측 불가능한 영공간(null space)에 한정한다. 이 영공간 내에서 스플라인 혼합(Mixture-of-Splines, MoS) 모듈은 서로 다른 해석적 차수의 B-스플라인 전문가를 동적으로 혼합하여 기하학적 연속성 사전(Geometric Continuity Prior)을 부과하며, 각 해부학적 영역을 내용 인지(content-aware) 수준의 연속성으로 모델링할 수 있게 한다. 공간적 일관성을 높이기 위해, 국소 공간 일관성 디코더(Local Spatial Consistency Decoder, LSCD)가 국소 귀납적 바이어스(local inductive bias)를 추가로 주입한다. 세 개의 CT와 하나의 MRI 벤치마크(benchmark)에서의 실험은 DP-NSL이 측정 일관성(measurement consistency)을 엄격히 보존하면서 기존 접근법을 능가함을 보여준다. 코드는 https://github.com/DeepMed-Lab-ECNU/Medical-Image-Reconstruction 에서 이용할 수 있다.

arXiv:2609.24937v3cs.CV공통 태그 Anatomy, Image Reconstruction

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2610.04781v2cs.CV공통 태그 Image Reconstruction, Super-Resolution

적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저

Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate

이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.

arXiv:2609.27848v1cs.CV공통 태그 Anatomy, Image Reconstruction

전신 감쇠 보정을 위한 기하학 앵커 기반 PET 인식 멀티모달 의사 CT 합성: BIC-MAC 챌린지

Geometry-anchored PET-aware multimodal pseudo-CT synthesis for whole-body attenuation correction: the BIC-MAC Challenge

BIC-MAC 챌린지는 CT 없는 PET 감쇠 보정(attenuation correction)을 위해 NAC-PET, Dixon MRI, 2D 토포그램(topogram)으로부터 전신 의사 CT(pseudo-CT)를 합성하는 것을 목표로 합니다. 본 논문에서는 NAC-PET를 공간적 기준(spatial reference)으로 사용하고 게이트 잔차 융합(gated residual fusion)을 통해 토포그램 및 MRI 특징을 통합하는 기하학 앵커 기반 멀티모달 프레임워크인 GeoPACT를 제안합니다. 절대 좌표와 전신 조건화(whole-body conditioning)는 해부학적으로 일관된 패치 기반 예측을 지원합니다. 학습(training)은 다운스트림 PET 재구성 관련 오차를 줄이기 위해 감쇠 맵 지도(attenuation-map supervision)와 미분 가능한 PET 반응 대리 모델(PET-response surrogate)을 결합합니다. 테스트 시점에서는 CT나 PET 레이블 없이도 슬라이딩 윈도우 추론(inference)을 사용하여 전체 해상도 의사 CT 볼륨을 생성합니다.

arXiv:2609.22390v1eess.IV공통 태그 Anatomy, Image Reconstruction

SENSE 가속 뇌 MRI에서 해부학적으로 충실한 아티팩트 억제

Anatomically Faithful Artifact Suppression in SENSE Accelerated Brain MRI

배경: 4배 가속 sensitivity encoding(SENSE4)은 뇌 MRI 촬영 시간을 단축할 수 있으나, 노이즈를 증폭하고 기존 재구성 후 잔여 aliasing 아티팩트가 남을 수 있다. 목적: 이미지 도메인 정제(refinement) 프레임워크가 정량 측정에 필요한 해부학적 정보를 보존하면서 SENSE4 뇌 MRI 품질을 개선할 수 있는지 평가한다. 방법: 본 전향적 paired 연구에서 80명의 참가자가 fully sampled 및 4배 가속 SENSE T1-weighted MRI를 시행했다. 우리는 generalized self-attention과 상관 기반 잔차 아티팩트 정규화(regularization)를 통해 가속 재구성을 정제하는 Anatomy-aware Residual Attention Network(ART-Net)를 개발했다. 참가자 단위 분할로 학습, 검증, 독립 시험 코호트(45/5/30명)를 구성했다. 독립 시험 코호트에 대해 이미지 품질 및 해부학적 보존에 대한 정량, 분할 기반, 맹검 방사선과 평가를 시행했다. 결과: ART-Net은 평가된 방법 중 최고 수준의 재구성 성능을 보였으며, peak signal-to-noise ratio(31.03 +/- 2.88 dB)와 structural similarity index(0.963 +/- 0.022)를 달성했다. 또한 해부학적 충실도가 개선되어, 위축(atrophy) 평가와 관련된 medial temporal 구조(0.8824 +/- 0.0827) 및 whole-brain 영역(0.8857 +/- 0.0885)에 대해 수치상 최고 Dice 계수를 보였다. 더불어 ART-Net은 그래디언트(gradient) 충실도, 국소 대비 보존, 방사선과가 평가한 구조적 품질을 개선했다. 결론: ART-Net은 단일 기관 held-out 시험 코호트에서 SENSE4와 fully sampled T1-weighted 영상 간 일치를 개선하면서 분할 기반 해부학적 측정을 유지했다. 이러한 결과는 ART-Net이 영상 충실도를 높이고 신뢰할 수 있는 하위 해부학적 분석을 가능하게 함으로써 가속 뇌 MRI를 지원할 수 있음을 시사한다.

arXiv:2609.22807v1cs.CV공통 태그 Image Reconstruction, Super-Resolution

C$^{2}$-INR: 맞춤형 합성곱 암시적 신경 표현

C$^{2}$-INR: Customized Convolutional Implicit Neural Representation

암시적 신경 표현(INR)은 신경망을 활용하여 이미지와 같은 이산 신호를 연속적인 신호로 표현하며, 이때 신경망 가중치는 신호 자체의 압축된 형태 역할을 합니다. 기존의 대부분의 INR 방법은 백본으로 다층 퍼셉트론(MLP)을 채택합니다. 이러한 모델들은 각 픽셀을 독립적으로 렌더링하기 때문에, 이웃한 픽셀 사이에 존재하는 공간적 상관관계를 본질적으로 활용하지 못합니다. 반면, 합성곱(convolutional) INR은 픽셀 간의 의존성을 본질적으로 고려하면서 픽셀을 병렬로 처리할 수 있어 이미지를 표현하는 데 더욱 자연스럽게 부합합니다. 그럼에도 불구하고 합성곱 INR은 상대적으로 덜 연구되었으며, 대부분은 고정된 구조적 설정에 의존하여 이미지 맞춤형 적응을 위한 여지를 거의 남겨두지 않습니다. 본 논문에서는 합성곱 INR을 위한 신경망 맞춤화(network customization)를 연구합니다. 우리는 기존 필터를 비정형 방향성 커널로 대체하며, 이들의 할당은 이미지 스펙트럼의 방향성 에너지에 의해 안내됩니다. 즉, 더 강한 에너지를 나타내는 방향에 더 많은 수의 커널이 할당되어 콘텐츠에 맞춤화된 합성곱 설정을 가능하게 합니다. 이러한 커널들은 우수한 희소 표현을 달성하기 위해 직교 기저(orthogonal basis)를 통해 추가로 재구성됩니다. 나아가, 우리는 각 합성곱 커널에 가장 적합한 활성화 함수를 부여하는 어닐링된 검벨-소프트맥스(Gumbel-Softmax) 기반의 커널 단위 활성화 함수 선택 메커니즘을 도입합니다. 광범위한 실험을 통해 우리의 방법인 C$^{2}$-INR이 표현, 인페인팅, 초해상도를 포함한 광범위한 이미지 처리 작업 전반에서 유사한 매개변수 예산 하에 최첨단 접근법 대비 우수한 성능을 달성함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.