Computationally Efficient 3D MRI Reconstruction with Adaptive MLP
원문 초록
Compared with 2D MRI, 3D MRI provides superior volumetric spatial resolution and signal-to-noise ratio. However, it is more challenging to reconstruct 3D MRI images. Current methods are mainly based on convolutional neural networks (CNN) with small kernels, which are difficult to scale up to have sufficient fitting power for 3D MRI reconstruction due to the large image size and GPU memory constraint. Furthermore, MRI reconstruction is a deconvolution problem, which demands long-distance information that is difficult to capture by CNNs with small convolution kernels. The multi-layer perceptron (MLP) can model such long-distance information, but it requires a fixed input size. In this paper, we proposed Recon3DMLP, a hybrid of CNN modules with small kernels for low-frequency reconstruction and adaptive MLP (dMLP) modules with large kernels to boost the high-frequency reconstruction, for 3D MRI reconstruction. We further utilized the circular shift operation based on MRI physics such that dMLP accepts arbitrary image size and can extract global information from the entire FOV. We also propose a GPU memory efficient data fidelity module that can reduce $>$50$\%$ memory. We compared Recon3DMLP with other CNN-based models on a high-resolution (HR) 3D MRI dataset. Recon3DMLP improves HR 3D reconstruction and outperforms several existing CNN-based models under similar GPU memory consumption, which demonstrates that Recon3DMLP is a practical solution for HR 3D MRI reconstruction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MIGA: 가속화된 3D 다중에코 MRI를 위한 암시적 진폭 모델링 기반 공유 기하학 가우시안 표현
MIGA:Shared-Geometry Gaussian Representation with Implicit Amplitude Modeling for Accelerated 3D Multi-Echo MRI
3차원(3D) 다중에코(multi-echo) MRI는 풍부한 해부학적 및 정량적 정보를 제공하지만, 반복적인 볼륨 인코딩으로 인해 획득 시간이 길어져 k-공간(k-space) 언더샘플링(undersampling)이 요구됩니다. 언더샘플링된 다중에코 데이터를 재구성하려면 에코에 따른 신호 변화를 보존하면서 공유된 해부학적 구조를 활용해야 합니다. 또한 전체 볼륨 모델링은 상당한 연산 및 메모리 부담을 초래합니다. 본 논문에서는 공유된 비등방성 가우시안 기하학, 좌표 조건부 다중 출력 진폭 네트워크, 명시적인 에코별 위상 변수로 구성된 스캔 맞춤형 프레임워크인 MIGA를 제안합니다. 가우시안 기하학은 여러 에코에 걸쳐 공통의 공간적 지지(spatial support)를 제공하고, 암시적(implicit) 네트워크는 공간적으로 구조화된 진폭 변화를 모델링하며, 위상 변수는 에코별 복소 신호 정보를 유지합니다. 모든 구성 요소는 획득된 다중 코일 k-공간만을 사용하여 공동으로 최적화(optimization)되며, 완전 샘플링된 학습(training) 데이터를 필요로 하지 않습니다. 실험 결과, MIGA는 다양한 영상화 작업 및 가속 계수 전반에서 비교 방법들을 일관되게 능가했으며, 언더샘플링이 강할수록 더 큰 향상을 보였습니다. 또한 MIGA는 평가된 전체 볼륨 다중에코 방법들 중에서 우수한 품질 대비 비용 균형을 달성했습니다. 이러한 결과는 가속화된 3D 다중에코 MRI 재구성을 위해 공유 가우시안 기하학과 암시적 에코 의존 진폭 모델링을 결합하는 것의 효과성을 뒷받침합니다.
PRIME-SVR: 태아 T2 매핑을 위한 물리 정보 기반 암시적 다중 에코 슬라이스-볼륨 재구성
PRIME-SVR: Physics-infoRmed Implicit Multi-Echo Slice-to-Volume Reconstruction for Fetal T2 mapping
슬라이스-볼륨 재구성(SVR)은 여러 방향으로 획득된 움직임으로 손상된 2D MRI 슬라이스 스택으로부터 고해상도(HR) 3D 태아 뇌 볼륨을 얻는 표준 방법이다. 기존 SVR 방법은 임상 범위의 에코 시간(TE)에 대해서만 최적화 및 검증되어, 비임상 TE에서의 사용을 제한하고, 다중 TE에 걸친 HR 재구성을 요구하는 태아 뇌 성숙의 프로토콜 및 센터 독립적 바이오마커인 정량적 T2 매핑과 호환되지 않게 한다. 우리는 다중 에코 MRI로부터의 공동 HR 재구성을 위한 최초의 암시적 신경 표현(INR) 프레임워크인 PRIME-SVR을 제안한다. 단일 완전 연결 네트워크는 공간 좌표에서 TE에 걸친 신호 강도로의 연속 함수를 모델링하고, 두 번째 네트워크는 슬라이스별 획득 열화를 추정한다. TE 간 일관성은 예상 T2 감쇠로부터의 편차에 페널티를 부과하는 Bloch 방정식 유도 정규화를 통해 강제되며, 열화된 스택에 대해 결합을 강화하는 적응적 가중치를 사용한다. 이 방법은 완전 자기지도(self-supervised) 방식이다. 우리는 두 센터, 두 벤더, 두 자기장 강도(1.5 T 및 0.55 T)에서 39건의 in vivo 태아 획득(13명의 대상자 x 3 TE)에 대해 PRIME-SVR을 검증한다. 최신 SVR과 비교하여 PRIME-SVR은 재구성 선명도를 47%, 해부학적 정확도를 30%, TE 간 구조적 일관성을 14% 향상시킨다. 이는 이전에 SVR로 접근할 수 없었던 후기 TE에서의 재구성을 가능하게 하여, 0.55 T에서 최초의 0.8 mm 등방성 T2 맵과 INR 기반 SVR에서 파생된 최초의 T2 맵을 산출한다. PRIME-SVR은 또한 다중 TE 재구성에 필요한 데이터를 줄여 정량 영상을 가속하며, 획득 시간을 15분에서 10분으로 단축하면서 백질 및 깊은 회백질에서 T2 정확도를 1.7% 이내로 유지하거나, 고품질 획득의 경우 5분으로 단축하면서 평균 T2 오차 2.3%를 달성한다.
GPU 친화적 그래픽스 텍스처 코딩을 이용한 3D Gaussian Splatting 데이터 압축
Compression of 3D Gaussian Splatting Data Using GPU-friendly Graphics Texture Coding
이미지 컬렉션으로부터 3D 장면을 모델링하는 기법(예: 3D Gaussian Splatting, 3DGS)은 시점 의존적(view-dependent) 외형을 갖는 그래픽스 프리미티브를 활용하여 고품질의 새로운 시점(novel view)을 생성할 수 있다. 3DGS에서는 시점 의존적 색상을 모델링하기 위해 구면 조화(spherical harmonic, SH)가 사용되며, 이로 인해 프리미티브당 다수의 SH 계수가 필요하고 메모리 요구량이 커진다. 이 문제를 완화하기 위해 압축 접근법들이 제안되었지만, 병렬 디코딩 및 렌더링을 위한 현대 그래픽 처리 장치(GPU)의 기능을 활용하지 못한다. 본 논문에서는 효율적인 병렬 GPU 디코딩을 위해 특별히 설계되었고 전용 하드웨어 가속을 지원하는 텍스처 압축 방식을 사용하여 SH 색상 계수를 압축하는 방법을 제안한다. 이러한 방법들이 프리미티브를 색상에 따라 국소적으로 그룹화하고 재정렬할 수 있다는 점을 활용하여 2D 텍스처보다 색상 계수를 더 효과적으로 압축할 수 있음을 보인다. 또한 무작위 접근(random access)을 유지하는 비트레이트(bit-rate) 제어 전략을 도입하여, 렌더링 성능을 저해하지 않으면서 대규모 병렬화를 가능하게 한다. BC1 및 BC7 텍스처 압축 포맷을 사용한 실험 결과, GPU 기반 디코딩을 통해 렌더링된 3DGS 장면의 시각적 품질에서 무시할 수 있거나 지각상 구별할 수 없는 저하만으로 달성할 수 있음을 보여준다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
토론
이 논문과 연결된 포럼 글이 아직 없습니다.