PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02382v1cs.CV

FactorSplat: 의료 볼륨 렌더링을 위한 외관 제어 가능한 가우시안 프록시

FactorSplat: Appearance-Controllable Gaussian Proxies for Medical Volume Rendering

전이 함수(TF)는 의료 볼륨 렌더링에서 색상과 가시성을 제어하지만, 이미지로 학습된 가우시안 프록시는 일반적으로 하나의 전이 함수만을 외관에 고정(bake)해 둡니다. 본 논문에서는 추론(inference) 시 영역별 강도-RGBA 곡선을 입력받는 씬별 N차원 가우시안 스플래팅(N-DGS) 프록시인 FactorSplat을 제시합니다. 로컬 룩업(lookup)은 제작된 색상 및 불투명도 변화를 적용하는 한편, 공유 함수형 인코더와 가우시안별 저순위 팩터는 잔여 외관 반응을 학습합니다. 기하학적 구조와 방향성 외관은 프리셋 전반에 걸쳐 공유되며, 가시성 제어 및 TF 인식 가지치기(pruning)를 통해 구조를 숨기거나 드러내는 기능을 유지합니다. 7개의 CT 및 MR 스캔에서 FactorSplat은 검증(validation), 보간, 미확인 조합, 분포 외(OOD) 편집 전반에 걸쳐 영역 인식 VEG 대비 평균 PSNR과 변경 영역 오차를 개선합니다. 이 네 가지 분할 전반에서 7개 스캔의 VEG 대비 평균 PSNR 향상은 1.10에서 1.52 dB에 이릅니다. 스캔당 하나의 체크포인트(checkpoint)로 재학습 없이 미확인 편집을 지원합니다. $1600^2$ 해상도에서 캐시된 고속 렌더러는 1.17 ms의 TF 전환과 함께 평균 524 FPS를 달성합니다. 프로젝트 페이지: https://gaozhongpai.github.io/FactorSplat/.

arXiv:2410.02103v4cs.CV공식 코드 · Papers with Code

MVGS: 새로운 시점 합성을 위한 다중 뷰 조절 Gaussian Splatting

MVGS: Multi-view Regulated Gaussian Splatting for Novel View Synthesis

최근 볼륨 렌더링(volume rendering) 분야의 연구들, 예를 들어 NeRF와 3D Gaussian Splatting(3DGS)은, 학습된 암시적 신경 복사장(implicit neural radiance field) 또는 3D Gaussian의 도움으로 렌더링 품질과 효율성을 크게 향상시켰다. 명시적 표현 위에서 렌더링하는 vanilla 3DGS와 그 변형들은 NeRF에서 채택된 바와 같이 학습 중 각 반복마다 단일 뷰 감독으로 모델을 최적화함으로써 실시간 효율성을 제공한다. 그 결과 특정 뷰에 과적합이 발생하여, 새로운 시점 합성에서 만족스럽지 않은 외관과 부정확한 3D geometry가 나타난다. 이러한 문제를 해결하기 위해, 우리는 네 가지 핵심 기여를 담은 새로운 3DGS 최적화 방법을 제안한다: 1) 우리는 기존의 단일 뷰 학습 패러다임을 다중 뷰 학습 전략으로 전환한다. 제안하는 다중 뷰 조절(multi-view regulation)을 통해 3D Gaussian 속성이 특정 학습 뷰에 과적합되지 않도록 추가로 최적화된다. 일반적인 해결책으로서, 다양한 시나리오와 서로 다른 Gaussian 변형에서 전반적인 정확도를 향상시킨다. 2) 추가 뷰가 가져오는 이점에서 영감을 받아, 우리는 cross-intrinsic guidance scheme을 추가로 제안하며, 이는 서로 다른 해상도에 관한 coarse-to-fine 학습 절차로 이어진다. 3) 다중 뷰 조절 학습 위에 구축하여, 우리는 cross-ray densification 전략을 추가로 제안한다. 이는 선택된 여러 뷰의 광선 교차(ray-intersect) 영역에 더 많은 Gaussian kernel을 densify한다. 4) densification 전략을 추가로 조사한 결과, 특정 뷰들이 극적으로 크게 상이할 때 densification 효과를 강화해야 함을 발견했다. 이에 대한 해결책으로, 3D Gaussian이 충분한 수까지 densify되도록 장려하는 새로운 다중 뷰 증강 densification 전략을 제안하며, 그 결과 재구성 정확도가 향상된다.

arXiv:2606.20856v2cs.CV

확률적 부호 거리 프로세스

Stochastic Signed Distance Processes

다중 뷰 표면 재구성(surface reconstruction)은 컴퓨터 비전(CV)의 핵심 문제이다. 한 두드러진 연구 계열은 표면을 부호 거리 필드(SDF, signed distance field)로 암묵적으로 표현하고, 렌더링된 픽셀 색상과 관측된 픽셀 색상 사이의 광도 손실(photometric loss)을 기반으로 이를 최적화한다. 이러한 접근법은 일반적으로 SDF 기반 볼륨 렌더링(volume rendering)을 사용하여 광선을 따라 불연속적인 가시성(visibility)의 미분 가능한 완화(differentiable relaxation)를 얻고, 이를 통해 실루엣(silhouette) 감독에 대한 의존을 줄인다. 본 논문에서는 SDF 기반 볼륨 렌더링을 확률적 표면 렌더링(probabilistic surface rendering)으로 재공식화하며, 각 픽셀 색상을 무작위 첫 번째 광선-표면 교차(first ray-surface intersection)에 의해 유도된 혼합 분포(mixture distribution)로 모델링한다. 이를 위해 우리는 확률적 부호 거리 프로세스(Stochastic Signed Distance Processes, SSDP)를 도입하는데, 이는 각 광선을 따라 SDF를 확률 과정(stochastic process)으로 모델링하여 각 광선에 대한 최초 통과 시간(first-passage-time) 분포를 유도한다. 그런 다음 베이지안 필터링(Bayesian filtering)을 기반으로 각 샘플링 구간에 대한 최초 통과 확률(first-passage probability)을 도출하고, 병렬 렌더링을 위한 실용적 근사도 함께 제시한다. 또한 기존 SDF 기반 볼륨 렌더링 방법인 NeuS가 우리의 공식화의 특수 경우(special case)로 도출됨을 보인다. DTU 및 MobileBrick 데이터셋(dataset)에서의 실험은 우리 방법이 표면 재구성과 불확실성 정량화(uncertainty quantification) 모두에서 기준선(baseline)을 능가함을 보여주며, 이는 우리의 최초 통과 공식화의 효과를 뒷받침한다. 우리의 코드는 https://github.com/skmhrk1209/SSDP 에서 이용할 수 있다.