uii-ai.com

이 이메일 도메인이 관측된 논문 3건

arXiv:2608.07760v2cs.CV

XClipGS: 의료 볼륨 가우시안 스플래팅을 위한 정확한 반공간 클리핑

XClipGS: Exact Half-Space Clipping for Medical Volume Gaussian Splatting

가우시안 스플래팅(Gaussian splatting) 프록시는 의료 볼륨 스캔의 대화형 렌더링을 가능하게 하지만, 클리핑 평면(clipping plane)은 외부 시점 학습(training)으로 제약되지 않은 해부학적 구조를 노출시키며, 기존 스플래팅이 통째로 유지하거나 버릴 수밖에 없는 프리미티브(primitive)들을 절단합니다. 본 논문에서는 이를 렌더링 시점 클립 연산자와 숨겨진 내부 영역의 지도라는 두 가지 별개의 문제로 다루는 XClipGS(eXact Clipping)를 제안합니다. EWA 스플래팅에서 사용되는 국소 아핀 모델(model) 하에서, 반공간으로 제한된 가우시안의 광선 적분은 일반적인 2D 풋프린트와 픽셀 좌표에 대해 아핀 형태의 인자를 갖는 조건부 가우시안 누적 분포 함수(CDF)로 정확히 인수분해됩니다. 그 결과 도출된 닫힌 형태(closed-form)의 픽셀 단위 연산자는 학습된 클리핑 파라미터나 보조 네트워크를 도입하지 않으며, 프리미티브 및 평면에 대해 미분 가능성을 유지합니다. 우리는 동일한 연산자를 통해 내부를 지도하기 위해 다양한 클리핑 평면 축과 오프셋을 갖는 다중 거리 참조 뷰를 사용합니다. 또한 전역 이미지 지표가 평면 근처의 오차를 희석하기 때문에, 차이 참조 절단 오차(CDE) 및 컬링된 측면 누출(Leak)을 포함하는 쌍을 이룬 클리핑/비클리핑 절단면 프로토콜을 도입합니다. 학습에 사용되지 않은 평면 오프셋을 갖는 8개의 CT 및 MRI 볼륨에서, XClipGS는 ClipGS의 278 FPS 대비 실시간을 훨씬 상회하는 650 FPS 이상으로 렌더링하면서 모든 볼륨에서 가장 높은 PSNR(ClipGS의 32.34 dB 대비 33.56 dB)을 달성합니다. 복셀 축 절단면 뷰에서 평균 밴드 SSIM을 0.809에서 0.860으로 높이고 누출을 약 40배 줄입니다. 재학습 없이도 임의의 법선 평면에서 4개 지표 모두에 걸쳐 최고의 평균을 달성하며, 고정된 내부 환경에서 약 16배 적은 누출로 RaRa의 단면 충실도와 대등한 성능을 보입니다. 프로젝트 페이지: https://gaozhongpai.github.io/XClipGS/

arXiv:2509.22404v2cs.CV

RAU: 비전-언어 모델을 활용한 참조 기반 해부학적 이해

RAU: Reference-based Anatomical Understanding with Vision Language Models

해부학적 이해(anatomical understanding)는 해부학적 구조를 식별·위치 특정·분할(segmentation)하는 능력으로, 의료 영상 분석에서 핵심적이지만 전문가 라벨 데이터 부족으로 발전이 제한된다. 유망한 대안은 주석이 달린 참조(reference) 영상을 활용해 라벨 없는 대상(target) 영상 해석을 안내하는 것이다. 최근 비전-언어 모델(VLM)은 시각적 추론 능력을 보이지만, 참조 기반 이해와 세밀한 위치 특정(localization)은 여전히 제한적이다. 본 연구는 VLM을 이용한 참조 기반 해부학적 이해 프레임워크 RAU를 제안한다. 먼저 VLM이 중간 규모 데이터셋으로 학습할 때 참조 영상과 대상 영상 간 상대적 공간 추론을 통해 해부학적 영역을 식별함을 보인다. 이 능력은 시각적 질의응답(VQA)과 경계 상자(bounding box) 예측으로 검증한다. 다음으로 VLM에서 얻은 공간 단서를 SAM2의 세밀 분할(segmentation) 능력과 원활히 결합해 혈관 분절(vessel segments) 같은 작은 해부학적 영역의 위치 특정과 픽셀 단위 분할을 가능하게 한다. 분포 내(in-distribution) 데이터셋 2개와 분포 외(out-of-distribution) 데이터셋 2개에서 RAU는 동일한 메모리 설정의 SAM2 미세조정 기준선보다 일관되게 우수하여 더 정확한 분할과 더 신뢰할 수 있는 위치 특정을 달성한다. 더 중요하게, 보지 못한 모달리티로의 일반화(generalization) 능력은 보지 못한 데이터셋으로 확장 가능하게 하며, 이는 의료 영상 응용에 중요한 성질이다. 알려진 바로는 RAU가 의료 영상에서 참조 기반 해부학적 구조 식별·위치 특정·분할을 위해 VLM의 능력을 탐구한 최초의 연구이다. 유망한 성능은 자동화된 임상 워크플로에서 해부학적 이해를 위한 VLM 기반 접근의 잠재력을 부각한다.

arXiv:2505.17338v3cs.CV

Render-FM: Feedforward Model for Real-time Photorealistic Volumetric Rendering

Photorealistic volumetric rendering of CT scans greatly benefits clinical workflows, yet neural approaches such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) require prohibitive per-scan optimization (hours for NeRF, about 30 minutes for 3DGS), making them impractical in clinical settings. We propose Render-FM, a feedforward model that eliminates this bottleneck by directly regressing 6D Gaussian Splatting (6DGS) parameters from a CT volume in a single 2.8-second forward pass, a 500x speedup over per-scan optimization. To bridge the domain gap between natural scene reconstruction and medical volumetric rendering, we introduce Anatomy-Guided Priming (AGP), which incorporates segmentation masks and transfer functions as structural and appearance priors, information that existing Gaussian splatting methods overlook. Built on an nnU-Net-inspired 3D U-Net trained on diverse CT scans, Render-FM predicts per-voxel 6DGS parameters and supports immediate real-time rendering. Unlike per-scan methods, it generalizes to unseen anatomies, novel transfer functions, and enables compositional organ visualization with zero additional preparation time. Optional 89-second fine-tuning further improves quality, surpassing per-scan optimized baselines. Project page: https://gaozhongpai.github.io/renderfm/.