UlRe-NeRF: 3D Ultrasound Imaging through Neural Rendering with Ultrasound Reflection Direction Parameterization
원문 초록
Three-dimensional ultrasound imaging is a critical technology widely used in medical diagnostics. However, traditional 3D ultrasound imaging methods have limitations such as fixed resolution, low storage efficiency, and insufficient contextual connectivity, leading to poor performance in handling complex artifacts and reflection characteristics. Recently, techniques based on NeRF (Neural Radiance Fields) have made significant progress in view synthesis and 3D reconstruction, but there remains a research gap in high-quality ultrasound imaging. To address these issues, we propose a new model, UlRe-NeRF, which combines implicit neural networks and explicit ultrasound volume rendering into an ultrasound neural rendering architecture. This model incorporates reflection direction parameterization and harmonic encoding, using a directional MLP module to generate view-dependent high-frequency reflection intensity estimates, and a spatial MLP module to produce the medium's physical property parameters. These parameters are used in the volume rendering process to accurately reproduce the propagation and reflection behavior of ultrasound waves in the medium. Experimental results demonstrate that the UlRe-NeRF model significantly enhances the realism and accuracy of high-fidelity ultrasound image reconstruction, especially in handling complex medium structures.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
효율적 고충실도 표현을 위한 순환 사인파 암시적 신경 표현(INR)
Recurrent Sinusoidal INRs for Efficient High-Fidelity Representation
암시적 신경 표현(INR)에서 조화 스펙트럼 풍부화를 위한 반복적 메커니즘으로서 사인파 순환을 연구한다. 우리의 분석은 사인파 활성화가 조화 선 스펙트럼을 유도하며, 순환 전개가 유효 스펙트럼 지원을 어떻게 풍부하게 하는지에 대한 스펙트럼적 설명을 제공함을 보여준다. 우리는 잠재 표현을 반복적으로 정제하는 공유 사인파 블록으로 이 원리를 구현한다. 피드포워드 INR, 비사인파 순환 변형, 평형 스타일 사인파 모델과 대비하여 결과적인 스펙트럼 거동을 실증적으로 검증한다. 이 분석을 보완하여, 이미지 및 3D 표현 작업 전반에 걸쳐 제안된 아키텍처를 평가한다. RGB 이미지 벤치마크에서 우리 방법은 더 적은 파라미터와 더 적은 최적화 단계로 피드포워드 기준선보다 더 높은 충실도를 달성하며, 초해상도, NeRF, SDF 작업으로도 유리하게 전이된다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여
TomoTransformer: Towards a Foundation Model for CT Reconstruction
지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.
LINGO: 3D Gaussian Splatting을 활용한 희소 각도 X-ray 신규 시점 합성 및 CT 재구성을 위한 잠재 초기화와 그래디언트 최적화
LINGO: Latent Initialization and Gradient Optimization for Sparse-view X-ray Novel View Synthesis and CT Reconstruction with 3D Gaussian Splatting
신규 시점 합성(novel view synthesis) 및 희소 각도(sparse-view) X-ray 영상 기반 컴퓨티드 단층 촬영(Computed Tomography, CT) 재구성에서는 각도 커버리지가 부족하면 구조적 모호성과 누적 노이즈가 발생한다. 3D Gaussian Splatting(3DGS)을 X-ray 흡수 물리와 결합하면 유망한 결과를 얻을 수 있으나, 노이즈가 많은 초기화, 위치 민감도 부족, 저밀도 영역에서의 약한 그래디언트 문제가 있다. 본 논문에서는 이를 해결하기 위해 잠재 초기화 및 그래디언트 최적화(Latent Initialization and Gradient Optimization, LINGO) 통합 프레임워크를 제안한다. LINGO는 잠재 마스크 공간 초기화와 동적 그래디언트 최적화를 결합해 포인트 클라우드의 구조적 완전성을 높이면서 학습을 가속한다. X-ray 마스크로부터 voxel 수준 3D 필터를 구성해 배경 노이즈를 견고하게 억제하고 신뢰할 수 있는 기하학적 prior를 제공한다. 적응형 voxel 스케일링 전략과 동적 손실 스케일링을 통해 공간 해상도를 조절하고 저밀도 구조에서 그래디언트를 명시적으로 증폭한다. 초기화 품질 평가를 위해 Initialization Point Cloud Structural Deviation(IPSD) 지표를 도입한다. X3D 데이터셋 실험에서 신규 시점 합성 과제는 동일한 희소 각도 설정에서 baseline 대비 평균 PSNR(Peak Signal-to-Noise Ratio) 0.72, SSIM(Structural Similarity Index) 0.0039를 각각 개선했으며, 보통 30k 반복으로 학습되는 최신(state-of-the-art) 모델과 유사한 재구성 품질을 5k step 내에 달성했다. CT 재구성 과제에서도 평균 PSNR·SSIM이 각각 0.36, 0.0134만큼 향상되는 등 일관된 개선을 보였다. 이는 다양한 희소 각도 영상 시나리오에서 학습 가속과 재구성 품질 향상 모두에 LINGO가 효과적임을 보여준다.
교실 내 CFD 기반 기류 분석을 위한 360도 비디오 기반 실내 형상 반자동 복원
Semi-automated reconstruction of indoor geometry from 360-degree video for CFD-based airflow analysis in classrooms
전산유체역학(CFD)은 재실 건물의 환기 및 오염 물질 이송을 평가하는 데 널리 사용되지만, 값비싼 스캐닝 하드웨어나 수동 CAD 모델링 없이 실내 형상을 획득하는 문제, 장면을 개별적으로 조작 가능한 객체로 분해하는 문제, 그리고 실내를 다시 촬영하지 않고도 대체 레이아웃에 맞춰 해당 객체들을 재구성하는 문제라는 세 가지 병목 현상으로 인해 대규모 배포가 제한됩니다. 본 연구에서는 단일 360도 실내 비디오를 개별 편집 및 시뮬레이션이 가능한 형상 에셋으로 변환하는 반자동 워크플로우를 제시합니다. 뉴럴 래디언스 필드(NeRF)를 사용해 조밀한 포인트 클라우드를 복원하고, 텍스트 프롬프트 기반 SAM 3 세그멘테이션으로 얻은 2D 인스턴스 마스크를 다중 뷰 일관성 및 심도 대역 필터링을 통해 3D로 투영합니다. 포인트들은 옥트리(octree)를 통해 객체 인스턴스로 분리되며, 가려짐으로 인한 결손 영역은 연결성 그래프를 통해 보충됩니다. 의자 템플릿은 ICP(Iterative Closest Point) 정렬을 통해 피팅되고, 테이블 형상은 절차적으로 생성됩니다. 브라우저 기반 에디터는 품질 보증과 대체 레이아웃 구성의 신속한 구축을 지원합니다. 이후 정상 상태 레이놀즈 평균(Reynolds-averaged) OpenFOAM 솔루션이 비정상 수동 스칼라 이송을 구동하며, 해당 설정은 격자 민감도 연구를 통해 검증되고 IEA Annex 20 벤치마크를 바탕으로 유효성이 입증됩니다. 본 워크플로우를 두 곳의 대학교 강의실과 계단식 계단 강의실에 적용했습니다. 캡처에서 형상 생성까지의 과정은 소비자용 워크스테이션에서 실당 2~5시간이 소요됩니다. 한 강의실에서 진행된 제어된 장애물 추가 시퀀스에서 가구가 추가됨에 따라 모델링된 반감 제거 시간(half-clearance time)은 비단조적으로 변하며, 공간 간 비교 결과 제거 특성을 공간 간에 신뢰성 있게 외삽할 수 없음을 보여줌으로써 공간별 형상 획득의 필요성을 입증합니다. 본 워크플로우는 이러한 형상 획득을 저비용으로 가능하게 함으로써 교실과 같은 공간에 대해 형상이 상세히 반영된 비교 환기 연구를 실용적으로 수행할 수 있도록 합니다.
MIGA: 가속화된 3D 다중에코 MRI를 위한 암시적 진폭 모델링 기반 공유 기하학 가우시안 표현
MIGA:Shared-Geometry Gaussian Representation with Implicit Amplitude Modeling for Accelerated 3D Multi-Echo MRI
3차원(3D) 다중에코(multi-echo) MRI는 풍부한 해부학적 및 정량적 정보를 제공하지만, 반복적인 볼륨 인코딩으로 인해 획득 시간이 길어져 k-공간(k-space) 언더샘플링(undersampling)이 요구됩니다. 언더샘플링된 다중에코 데이터를 재구성하려면 에코에 따른 신호 변화를 보존하면서 공유된 해부학적 구조를 활용해야 합니다. 또한 전체 볼륨 모델링은 상당한 연산 및 메모리 부담을 초래합니다. 본 논문에서는 공유된 비등방성 가우시안 기하학, 좌표 조건부 다중 출력 진폭 네트워크, 명시적인 에코별 위상 변수로 구성된 스캔 맞춤형 프레임워크인 MIGA를 제안합니다. 가우시안 기하학은 여러 에코에 걸쳐 공통의 공간적 지지(spatial support)를 제공하고, 암시적(implicit) 네트워크는 공간적으로 구조화된 진폭 변화를 모델링하며, 위상 변수는 에코별 복소 신호 정보를 유지합니다. 모든 구성 요소는 획득된 다중 코일 k-공간만을 사용하여 공동으로 최적화(optimization)되며, 완전 샘플링된 학습(training) 데이터를 필요로 하지 않습니다. 실험 결과, MIGA는 다양한 영상화 작업 및 가속 계수 전반에서 비교 방법들을 일관되게 능가했으며, 언더샘플링이 강할수록 더 큰 향상을 보였습니다. 또한 MIGA는 평가된 전체 볼륨 다중에코 방법들 중에서 우수한 품질 대비 비용 균형을 달성했습니다. 이러한 결과는 가속화된 3D 다중에코 MRI 재구성을 위해 공유 가우시안 기하학과 암시적 에코 의존 진폭 모델링을 결합하는 것의 효과성을 뒷받침합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.