arXiv:2404.06991

Ray-driven Spectral CT Reconstruction Based on Neural Base-Material Fields

Ligen Shi, Chang Liu, Ping Yang, Jun Qiu, Xing Zhao

제출 2024-04-10

원문 초록

In spectral CT reconstruction, the basis materials decomposition involves solving a large-scale nonlinear system of integral equations, which is highly ill-posed mathematically. This paper proposes a model that parameterizes the attenuation coefficients of the object using a neural field representation, thereby avoiding the complex calculations of pixel-driven projection coefficient matrices during the discretization process of line integrals. It introduces a lightweight discretization method for line integrals based on a ray-driven neural field, enhancing the accuracy of the integral approximation during the discretization process. The basis materials are represented as continuous vector-valued implicit functions to establish a neural field parameterization model for the basis materials. The auto-differentiation framework of deep learning is then used to solve the implicit continuous function of the neural base-material fields. This method is not limited by the spatial resolution of reconstructed images, and the network has compact and regular properties. Experimental validation shows that our method performs exceptionally well in addressing the spectral CT reconstruction. Additionally, it fulfils the requirements for the generation of high-resolution reconstruction images.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2311.10959v4eess.IV공통 태그 CT Reconstruction공식 코드 · Papers with Code

구조 인식 희소 시점 X선 3D 재구성

Structure-Aware Sparse-View X-ray 3D Reconstruction

물체의 내부 구조를 드러내는 능력으로 알려진 X선은 가시광선보다 3D 재구성에 더 풍부한 정보를 제공할 것으로 기대된다. 그러나 기존의 신경 방사 필드(NeRF) 알고리즘은 X선의 이러한 중요한 특성을 간과하여, 촬영된 물체의 구조적 내용을 포착하는 데 한계가 있다. 본 논문에서는 희소 시점 X선 3D 재구성을 위한 프레임워크인 구조 인식 X선 신경 방사밀도 필드(SAX-NeRF)를 제안한다. 첫째, SAX-NeRF의 백본으로 선분 기반 트랜스포머(Lineformer)를 설계한다. Lineformer는 X선의 각 선분 내 의존성을 모델링하여 3D 공간에서 물체의 내부 구조를 포착한다. 둘째, 2D 투영에서 맥락 정보와 기하 정보를 추출하기 위한 마스크 기반 로컬-글로벌(MLG) 레이 샘플링 전략을 제시한다. 아울러 더 넓은 X선 응용을 포괄하는 더 큰 규모의 데이터셋 X3D를 수집하였다. X3D에서의 실험 결과 SAX-NeRF는 새로운 시점 합성과 CT 재구성에서 기존 NeRF 기반 방법보다 각각 12.56 dB, 2.49 dB 높은 성능을 보인다. 코드, 모델, 데이터는 https://github.com/caiyuanhao1998/SAX-NeRF 에 공개되어 있다. 프로젝트 페이지 https://caiyuanhao1998.github.io/project/SAX-NeRF/ 에서 더 많은 영상과 대화형 결과를 볼 수 있다. 온라인 Gradio 데모는 HuggingFace의 https://huggingface.co/spaces/CaiYuanhao/SAX-NeRF 에서 이용할 수 있다.

arXiv:2403.04116v4eess.IV공통 태그 CT Reconstruction공식 코드 · Papers with Code

효율적인 X선 새로운 시점 합성을 위한 방사형 가우시안 스플래팅

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

X선은 자연광보다 투과력이 강해 투과 영상에 널리 사용된다. 새로운 시점의 X선 투영을 렌더링할 때, NeRF에 주로 기반한 기존 방법은 긴 학습 시간과 느린 추론 속도라는 문제를 겪는다. 본 논문에서는 X선 3D 재구성을 위한 3D 가우시안 스플래팅 기반 방법인 X-Gaussian을 제안한다. 첫째, X선 영상의 등방성에서 착안하여 방사형 가우시안 포인트 클라우드 모델을 재설계한다. 이 모델은 3D 점의 방사 강도를 예측하도록 학습할 때 시점 방향의 영향을 배제한다. 이 모델을 바탕으로 CUDA로 구현한 미분 가능 방사형 래스터화(DRR)를 개발한다. 둘째, 원래의 방사형 점 속성으로부터 연속적인 감쇠 장을 정의하고 CUDA 기반 병렬 질의를 통해 CT 볼륨을 직접 재구성할 수 있게 하는 원리에 기반한 방사형 가우시안 볼륨 질의(RGVQ) 방법을 정립한다. 셋째, X선 스캐너의 파라미터를 직접 사용하여 카메라 정보를 계산하고 스캔 대상을 둘러싸는 직육면체 내에서 점 위치를 균일하게 샘플링하는 각도-자세 직육면체 균일 초기화(ACUI) 전략을 맞춤 설계한다. 새로운 시점 합성에서 X-Gaussian은 15% 미만의 학습 시간과 73배 이상의 추론 속도를 누리면서 SOTA 방법보다 6.5 dB 높은 성능을 보인다. CT 재구성에서는 합성 장면과 실제 장면에서 각각 SOTA 방법보다 0.40 dB, 4.34 dB 높은 성능을 보이며, 학습된 CT 볼륨의 추론은 4.30배 빠르다. 코드, 모델, 데이터셋은 https://github.com/caiyuanhao1998/X-Gaussian 에서 제공한다. 더 많은 영상과 대화형 시각화는 프로젝트 페이지 https://caiyuanhao1998.github.io/project/X-Gaussian 에서 볼 수 있다. 또한 HuggingFace의 https://huggingface.co/spaces/CaiYuanhao/X-Gaussian 에 온라인 Gradio 데모 페이지를 구축하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.