arXiv:2505.17338v3 cs.CV

Render-FM: Feedforward Model for Real-time Photorealistic Volumetric Rendering

Zhongpai Gao, Benjamin Planche, Meng Zheng, Anwesa Choudhuri, Van Nguyen Nguyen, Terrence Chen, Ziyan Wu

제출 2025-05-22

원문 초록

Photorealistic volumetric rendering of CT scans greatly benefits clinical workflows, yet neural approaches such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) require prohibitive per-scan optimization (hours for NeRF, about 30 minutes for 3DGS), making them impractical in clinical settings. We propose Render-FM, a feedforward model that eliminates this bottleneck by directly regressing 6D Gaussian Splatting (6DGS) parameters from a CT volume in a single 2.8-second forward pass, a 500x speedup over per-scan optimization. To bridge the domain gap between natural scene reconstruction and medical volumetric rendering, we introduce Anatomy-Guided Priming (AGP), which incorporates segmentation masks and transfer functions as structural and appearance priors, information that existing Gaussian splatting methods overlook. Built on an nnU-Net-inspired 3D U-Net trained on diverse CT scans, Render-FM predicts per-voxel 6DGS parameters and supports immediate real-time rendering. Unlike per-scan methods, it generalizes to unseen anatomies, novel transfer functions, and enables compositional organ visualization with zero additional preparation time. Optional 89-second fine-tuning further improves quality, surpassing per-scan optimized baselines. Project page: https://gaozhongpai.github.io/renderfm/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2505.17338v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13568v1cs.LG공통 태그 Computational Efficiency, NeRF

유리 함수 기반으로 선형화된 다층 퍼셉트론

Rationally Linearized MLPs

본 논문에서는 표준 활성화 함수의 저차수 유리 근사(rational approximation)를 활용하여 다층 퍼셉트론(MLP)을 효율적으로 선형화하는 새로운 접근법인 RaLiMPs(Rationally Linearized Multilayer Perceptrons)를 제시합니다. 다항식 기반 MLP 선형화에서 영감을 받아, 유리 근사가 훨씬 낮은 차수에서도 정확한 표현을 제공할 수 있음을 보입니다. RaLiMPs는 이러한 근사를 활용하여 좁은 병목(bottleneck)을 갖는 커널(kernel) 표현을 구성함으로써 MLP 계층 전반에 걸친 효율적인 합성을 가능하게 합니다. 또한 도출된 근사에 대한 이론적 보장을 제공하며, 암시적 3D 모델부터 대규모 언어 모델(LLM)에 이르는 다양한 응용 분야에서 RaLiMPs를 평가합니다. 실험 결과, RaLiMPs가 추론 비용을 대폭 줄이면서도 경쟁력 있거나 향상된 정확도를 달성하여 유리한 정확도-효율성 트레이드오프를 보여줌을 입증합니다.

arXiv:2610.13757v1cs.CV공통 태그 3D Reconstruction, NeRF

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2610.13915v1cs.CV공통 태그 Anatomy, Medical Image Analysis

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

arXiv:2609.37605v2cs.CV공통 태그 Medical Image Analysis, 3D Reconstruction

TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여

TomoTransformer: Towards a Foundation Model for CT Reconstruction

지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.

arXiv:2610.01135v2cs.CV공통 태그 Anatomy, Medical Image Analysis

RSNA 뇌동맥류(RSNA-ICA) 데이터셋

The RSNA Intracranial Aneurysm (RSNA-ICA) Dataset

뇌동맥류 파열은 상당한 이환율 및 사망률과 관련이 있지만, 특히 작은 병변이거나 비혈관조영 일반 영상 검사에서는 동맥류 탐지가 여전히 까난한 과제로 남아 있습니다. 뇌동맥류 탐지 및 위치 식별을 위한 인공지능(AI) 알고리즘의 개발과 평가를 지원하고자 북미영상의학회(RSNA)는 미국신경영상의학회(ASNR), 신경중재수술학회(SNIS), 유럽신경영상의학회(ESNR)와의 협력을 통해 RSNA 뇌동맥류(RSNA-ICA) 데이터셋을 구축했습니다. 2025 RSNA 뇌동맥류 탐지 챌린지(RSNA Intracranial Aneurysm Detection Challenge)를 위해 개발된 RSNA-ICA는 5개 대륙 12개국 21개 기관에서 수집한 4,278명의 성인 환자로부터 얻은 7,202건의 CTA, MRA 및 MRI 시리즈로 구성된 대규모의 공개 전문가 주석 데이터셋입니다. 이 데이터셋은 낭상 뇌동맥류가 있거나 없는 환자들의 CTA 2,566건, MRA 2,166건, MRI 2,470건 시리즈를 포함하여 상당한 지리적 및 영상학적 다양성을 제공합니다. 전문가 주석에는 동맥류의 유무와 위치가 모두 표시되어 있으며, 178건의 시리즈에는 챌린지에서 정의한 혈관 위치에 대한 3차원 분할(segmentation)이 추가로 포함되어 있습니다. RSNA-ICA는 2025 RSNA 뇌동맥류 탐지 챌린지에서 알고리즘을 개발하고 평가하는 데 사용되었습니다. 7,202건의 영상 시리즈 중 5,041건은 MIRA를 통해 공개되어 있으며, 나머지는 챌린지의 공개 및 비공개 테스트 세트로 사용되었습니다. 이 데이터셋은 비상업적 용도에 한해 연구 커뮤니티에 무료로 제공되며, 혈관조영 검사와 일반 신경영상 검사 전반에서 AI 기반 동맥류 탐지를 발전시키기 위한 종합적인 리소스를 제공합니다.

arXiv:2610.02343v1cs.CV공통 태그 Medical Image Analysis, 3D Reconstruction

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.