arXiv:2401.12725

Two-View Topogram-Based Anatomy-Guided CT Reconstruction for Prospective Risk Minimization

Chang Liu, Laura Klein, Yixing Huang, Edith Baader, Michael Lell, Marc Kachelrieß, Andreas Maier

제출 2024-01-23

원문 초록

To facilitate a prospective estimation of CT effective dose and risk minimization process, a prospective spatial dose estimation and the known anatomical structures are expected. To this end, a CT reconstruction method is required to reconstruct CT volumes from as few projections as possible, i.e. by using the topograms, with anatomical structures as correct as possible. In this work, an optimized CT reconstruction model based on a generative adversarial network (GAN) is proposed. The GAN is trained to reconstruct 3D volumes from an anterior-posterior and a lateral CT projection. To enhance anatomical structures, a pre-trained organ segmentation network and the 3D perceptual loss are applied during the training phase, so that the model can then generate both organ-enhanced CT volume and the organ segmentation mask. The proposed method can reconstruct CT volumes with PSNR of 26.49, RMSE of 196.17, and SSIM of 0.64, compared to 26.21, 201.55 and 0.63 using the baseline method. In terms of the anatomical structure, the proposed method effectively enhances the organ shape and boundary and allows for a straight-forward identification of the relevant anatomical structures. We note that conventional reconstruction metrics fail to indicate the enhancement of anatomical structures. In addition to such metrics, the evaluation is expanded with assessing the organ segmentation performance. The average organ dice of the proposed method is 0.71 compared with 0.63 in baseline model, indicating the enhancement of anatomical structures.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2601.04785v2cs.CV공통 태그 Anatomy, SSIM

SRUG: 의료 영상 변환을 위한 융합 기반 생성기 네트워크

SRUG: A Fusion-Driven Generator Network for Medical Image Translation

MRI 시퀀스 합성은 환자 고유의 해부학적 구조를 보존하면서 결측된 영상 대비를 복원하는 것을 목표로 합니다. 생성 메커니즘의 선택은 최적화(optimization)뿐만 아니라 소스 정보가 합성된 영상에 전달되는 방식 모두에 영향을 미칩니다. 본 연구에서는 쌍을 이루는(paired) MRI 합성을 위해 결정론적 소스-타깃 매핑을 학습하는 지도형 독립 융합 기반 생성기인 SRUG를 제안합니다. 이 모델의 직접 재구성 정식화는 생성기-판별기 간 경쟁을 제거하며, 변분 잠재 샘플링이나 반복적인 확산(diffusion) 디노이징을 필요로 하지 않습니다. 이러한 정식화 내에서 구조적 충실도를 지원하기 위해, SRUG는 풀 해상도 합성곱 스템, 풀링(pooling)으로 분리된 특징 단계, 잔차 브랜치에 임베딩된 채널 재보정을 갖추고 영상 재구성에 맞게 조정된 잔차 인코더를 사용합니다. 중첩 다중 스케일 디코더(NMD)는 결과 공간 특징들을 반복적으로 융합하고 단일 출력 헤드를 통해 타깃 시퀀스를 예측합니다. L1 손실(loss)과 다중 스케일 구조적 손실(MSS loss)이 예측을 공동으로 지도하여, 직접 생성 목표를 해부학적 세부 정보 복원과 연결합니다. BraTS 2023 데이터셋에 대한 실험은 세 가지 MRI 변환 태스크 전반에서 경쟁력 있는 재구성 충실도와 구조적 일관성을 보여줍니다. 아키텍처 절제 연구는 동일한 생성기 프레임워크 내에서 채널 재보정, NMD, 구조적 지도의 효과를 평가합니다. IXI 데이터셋에 대한 추가 평가는 또 다른 데이터셋 및 모달리티 쌍에 대한 적용 가능성을 뒷받침하며, BraTS 2019에 대한 제로샷(zero-shot) 테스트는 데이터셋 간 전이 가능성에 대한 예비적 증거를 제공합니다. 이러한 결과는 조정된 인코딩 및 재구성 경로가 구조 보존의 기초를 제공함으로써 직접 지도 생성이 쌍을 이루는 MRI 시퀀스 합성에 실용적인 접근법임을 뒷받침합니다. SRUG 구현체는 https://github.com/RisingRich/SRUG 에서 공개되어 있습니다.

arXiv:2610.01956v1cs.CV공통 태그 Anatomy, Generative Adversarial Network

EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이

EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video

내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.