지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.
희소 시점(sparse-view) 3차원 복원은 무작위로 촬영된 제한된 수의 시점만 사용할 수 있는 증강현실/가상현실(AR/VR) 콘텐츠 제작, 문화유산 디지털화, 특정 로봇 공학 응용 분야 등 멀티미디어 응용에서 중요하고 흔한 시나리오입니다. 그러나 희소 시점은 제한된 3차원 정보만을 포함하고 있어 두 가지 주요한 어려움을 초래합니다. 1) 매칭에 사용할 수 있는 이미지가 너무 적어 다중 시점 일관성(multi-view consistency)을 구축하기 어렵습니다. 2) 시점 커버리지가 불충분하여 언더샘플링된 영역의 정보가 부족해지고, 이로 인해 물체 구조의 일부가 누락됩니다. 기존 방법들은 대부분 여전히 제한된 재투영 오차와 정규화(regularization) 항에 의존하므로, 단일 시점에 과적합(overfitting)되기 쉽고 시점 간 외형이 불일치하기 쉽습니다. 또한 기하학적으로 언더샘플링된 영역에서는 경험적(heuristic) 밀도 제어에 의존하는 경우가 많아 신뢰할 수 있는 가이드가 부족하며, 흔히 블러링과 구조적 결손(hole)을 유발합니다. 이러한 문제를 해결하기 위해 본 논문에서는 계층적 기하학 인지 관점에서 희소 시점 복원을 재검토하고, 고정된 사전 지식(prior)과 경험적 밀도 제어를 넘어 제한된 관측치를 신뢰할 수 있는 자체 생성 지도 신호(self-generated supervision)로 변환하는 계층적 가우시안 필드(HierGF)를 제안합니다. 구체적으로는 2단계 기하학 인지 백본 네트워크를 통해 대략적인 3차원 기하 정보와 추가적인 2차원 생성 사전 지식을 구조화된 의사 지도(pseudo-supervision)로 변환함으로써 매우 적은 입력 시점에서도 다중 시점 일관성을 향상합니다. 아울러 시점 간 일관된 콘텐츠 쪽으로 그래디언트를 유도하는 학습 가능한 신뢰도 네트워크와, 다중 시점 정렬 및 언더샘플링된 영역의 복원을 개선하는 기하학적 일관성 기반 밀도화(densification) 모듈을 도입합니다.
수중 3D 복원(3D reconstruction)은 희소 뷰(sparse view) 조건에서 여전히 어려운 과제로 남아 있는데, 산란(scattering), 흡수(absorption), 부유 입자(suspended particles)가 특징(feature) 대응관계와 기하 추정(geometric estimation)을 저해하기 때문이다. 피드포워드(feed-forward) 기하 파운데이션 모델(foundation model)이 전통적인 Structure-from-Motion의 대안을 제공하지만, 이를 수중 환경에 직접 적용하면 노이즈가 많고 단편화된 기하가 생성되어 이후의 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)을 제한한다. 우리는 피드포워드 기하를 수중 저하(degradation)에 적응시키고 그 밀집 기하학적 사전(dense geometric prior)을 뷰 합성(view synthesis)에 활용하는 희소 뷰 수중 복원 프레임워크를 제안한다. 첫째, LoRA와 교사-학생(teacher-student) 증류(distillation)를 사용하여 VGGT를 적응시키며, 합성적으로 저하된 수중 이미지로 학습(training)하면서도 깨끗한 기하학적 감독(supervision)을 보존한다. 이를 통해 사전학습(pretrained)된 예측 헤드(prediction head)를 수정하지 않고도 수중 외관 왜곡(appearance distortion)에 대한 견고성(robustness)을 향상시킨다. 둘째, 예측된 밀집 기하는 중간 단계의 3DGS 표현을 초기화하여 기하 기반(geometry-guided) 가상 뷰(pseudo-view)를 생성하며, 이는 뷰 중첩(view overlap)을 늘리고 이후의 RUSplatting 최적화를 위한 특징(feature) 트랙을 강화한다. SeaThru-NeRF와 Submerged3D에서의 실험은 희소 뷰 조건에서 복원 품질이 향상됨을 보여준다. SeaThru-NeRF에서 본 방법은 RUSplatting의 PSNR을 24.37에서 27.11 dB로 향상시키고 SSIM을 0.7611에서 0.8634로 증가시키며, Submerged3D에서는 최고의 평균 PSNR과 LPIPS를 달성한다. 이러한 결과는 견고한 희소 뷰 수중 3D 복원을 위한 도메인 적응(domain-adapted) 기하학적 사전의 잠재력을 보여준다.
본 논문에서는 카메라 포즈를 알 수 없는 희소 이미지로부터 관절체(articulated object)를 모델링하는 방법을 제시한다. 기존 접근법들은 조밀한 다중 시점 관측과 관절 상태(articulation state) 전반에 걸쳐 공유되는 실측(ground-truth) 카메라 포즈를 필요로 하는 반면, 우리의 접근법은 관절 상태당 단 4개의 포즈가 없는(unposed) 시점만으로 동작하며, 실측 포즈나 상태 간 공유 캘리브레이션을 필요로 하지 않는다. 핵심 과제는 희소 시점 재구성이 각 관절 상태를 독립적으로 복원할 수는 있지만, 부위 분할(part segmentation)과 기구학적 추론(kinematic reasoning)에 필요한 상태 간 대응 관계(cross-state correspondence)는 제공하지 못한다는 점이다. 우리는 독립적으로 재구성된 상태들을 정렬하고 이들 간의 조밀한 대응 관계를 수립하는 조밀 변형 필드(dense deformation field)를 최적화함으로써 이 문제를 해결한다. 이어서 반복적인 강건 추정(robust estimation) 절차를 통해 정적 부위와 움직이는 부위를 분리하고 그 기구학적 파라미터를 복원한다. 마지막으로, 시점 간 및 상태 간 일관성을 강제하는 자기지도(self-supervised) 손실을 이용하여 기하 구조, 외형, 모션을 정제한다. 표준 벤치마크와 실제 사례에 대한 실험 결과, 본 방법은 기존 연구보다 훨씬 약한 입력 가정 하에서도 정확한 관절체 표현을 생성함을 보인다.
희소 시점에서 고품질 3D 장면을 재건하는 문제는 일반화 가능한 신경 렌더링(neural rendering)의 핵심 과제로 남아 있다. 기존의 일반화 가능한 3D Gaussian Splatting(3DGS) 방법들은 희소 시점 환경에서 기하학적 아티팩트를 자주 나타내는데, 이는 2D 측광 손실(photometric loss)만을 기반으로 한 감독이 깊이 및 대응 모호성을 해소하지 못하기 때문이다. 이 문제를 해결하기 위해, 우리는 직접적인 3D 일관성 감독을 핵심으로 하는 학습 프레임워크인 MAC-Splat을 제안한다. MAC-Splat은 MASt3R 기하학적 백본과 동결된 DINOv3 인코더를 기반으로 의미론적으로 정보화된 2D 대응을 획득하며, 이는 3D 감독을 위한 기하학적 앵커로 활용된다. 이 앵커들을 사용하여 다중 속성 일관성(MAC, Multi-Attribute Consistency) 손실을 정의한다. 이 목적 함수는 공통 월드 좌표계에서의 일치를 강제함으로써 매칭된 가우시안의 위치, 형상, 외관을 포함한 3D 속성을 공동으로 정규화한다. 이 공식화는 이상치에 강건하고 공분산 행렬의 기하학을 존중하여, 희소 시점 조건에서 안정적인 학습을 가능하게 한다. ScanNet++에서의 실험 결과, MAC-Splat은 다양한 오버랩 환경에서 특히 큰 성능 향상을 보이며 강력한 기준선들을 능가한다. 특히, Splatt3R 대비 평균 PSNR을 4.5 dB 이상 개선하고, LPIPS를 감소시키며, 카메라 포즈 간격이 증가해도 성능을 유지한다. 이러한 결과는 고품질 대응과 결합된 직접적인 다중 속성 3D 일관성 목적 함수가 비적정(ill-posed) 희소 시점 재건 문제를 해결하는 데 효과적임을 보여준다.
희소 뷰에서의 3D 복원은 3D 컴퓨터 비전(CV)에서 어려운 과제입니다. 3D 가우시안 스플래팅(3DGS)에 관한 최근 연구들은 희소 뷰 신규 뷰 합성에서 뛰어난 성과를 거두었으나, 제한된 기하학적 단서와 가우시안의 이산성으로 인해 희소 뷰에서 고품질 기하학적 표면을 복원하는 것은 여전히 난제로 남아 있습니다. 본 논문에서는 희소 뷰로부터 고충실도 표면 복원을 위한 새로운 3DGS 기반 방법을 제안합니다. 핵심 아이디어는 법선 기반 깊이 전파 접근법을 도입하는 것으로, 이를 통해 고신뢰도 영역의 깊이 정보를 저신뢰도 영역의 깊이 추정에 제약 조건으로 확장할 수 있습니다. 또한 가우시안의 이산성으로 인한 깊이 불연속 문제를 해결하기 위해 비정상 깊이 에지 인식 정규화(regularization)를 제안합니다. DTU 및 Tanks-and-Temples 데이터셋에 대한 광범위한 실험을 통해 본 방법이 희소 뷰 표면 복원에서 최신 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://hanl2010.github.io/DP-GS.
희소 시점 신경 재구성은 카메라가 좁은 전방 주행 궤적을 따라 이동하며 다중 시점 중첩이 제한적인 실외 주행 장면에서 특히 어렵다. 단안 깊이 추정기(monocular depth estimator)는 밀집된 기하학적 사전 정보를 제공할 수 있으나, 그 예측값은 노이즈가 많고 이미지 영역에 따라 신뢰도가 균일하지 않다. 본 연구에서는 희소 시점 신경 재구성을 위한 단안 깊이 지도학습을 연구한다. 밀집 단안 깊이 사전 모델로 Depth Anything V2를 사용하고, 스케일-시프트 피팅(scale-shift fitting)을 통해 예측값을 메트릭 깊이에 정렬한 뒤, RGB 전용 기준선 모델에서 생성된 광도 마스크(photometric mask)를 통해 선택적으로 깊이 지도학습을 적용한다. 이 전략을 두 가지 대표적인 장면 표현 방식인 Mip-NeRF-360과 Splatfacto에서 평가한다. every2 희소 시점 설정 하의 KITTISeq02에서, 마스크 기반 단안 깊이 지도학습은 Mip-NeRF-360의 렌더링 성능을 미미하게 향상시키는 데 그치며 메트릭 기하학을 개선하지 못한다. 반면 Splatfacto는 보다 명확한 이점을 얻어 PSNR이 14.903에서 15.932로 향상되고 RMSE가 0.542에서 0.100으로 감소한다. 추가적인 KITTISeq05 실험과 비율 매칭 마스크 제거 실험(ablation)을 통해, Splatfacto의 성능 향상이 단순히 깊이 지도학습 픽셀 수를 줄이는 것이 아니라 신뢰도가 높은 저오차 영역을 선택하는 데서 비롯됨을 추가로 확인한다. Bicycle 장면에 대한 추가 실험은 다중 시점 커버리지가 이미 충분한 경우 깊이 지도학습이 기하학을 개선하면서 RGB 렌더링 품질을 저하시킬 수 있음을 보여준다. 전반적으로, 본 결과는 단안 깊이 사전 정보가 제약이 부족한 희소 시점 재구성에 유용하지만, 선택적이고 적절한 가중치로 적용되어야 함을 시사한다.
희소한 입력 뷰 환경에서 3D Gaussian Splatting(3DGS)의 과적합 문제를 플랫 미니마(flat minima) 최적화 관점에서 접근하여, 각 가우시안의 비등방성과 학습 진행 상황을 반영한 스케일 적응형 섭동(Scale-Adaptive Perturbation)과 주기적 파라미터 재초기화 기법을 제안한다. LLFF 및 Mip-NeRF360 데이터셋 실험에서 기존 3DGS 파이프라인에 구조 변경 없이 통합 가능하면서도 새로운 시점에 대한 일반화 성능과 지각적 품질이 향상됨을 확인하였다.
3D Gaussian Splatting(3DGS)는 새로운 시점 합성(novel view synthesis)을 위한 유망한 기법으로 부상했다. 그러나 3DGS는 고품질 렌더링을 달성하려면 밀집된 입력 시점이 필요하다. 희소 시점(sparse-view) 시나리오에서 3DGS는 종종 과적합에 빠져 눈에 띄는 아티팩트와 저하된 렌더링 품질을 초래한다. 기존 방법들은 추가 사전(prior)(예: 깊이 사전)을 도입하거나 정규화 기법(예: 드롭아웃)을 통합하여 이 문제를 해결하려 한다. 그러나 이러한 방법들은 원칙에 기반한 가이드 없이 적용되는 경우가 많다. 특히 사전 기반 증강(augmentation)은 보통 새로운 시점을 무작위로 샘플링하고, 드롭아웃 기반 정규화는 Gaussian을 무작위로 제거한다. 이러한 무작위성의 결합은 불확실성과 불안정성을 유발하여 새로운 시점 합성의 충실도(fidelity)를 제한한다. 본 논문에서는 Fisher Information을 통합하여 기하학적 사전과 정규화의 활용을 정량적으로 가이드하는 희소 시점 3DGS를 위한 새로운 방법을 제안한다. 구체적으로, 본 방법은 두 가지 핵심 구성 요소로 이루어진다: (1) Fisher Information을 활용한 스테레오 증강(stereo augmentation). Fisher Information을 활용하여 가장 정보가 풍부한 보조 시점(supporting views)을 능동적으로 선택하고 깊이 사전을 사용하여 신뢰할 수 있는 pseudo ground truth를 구성함으로써, 증강의 무작위성을 줄이고 안정성과 렌더링 충실도를 향상시킨다; (2) 불확실성 인식 정규화(uncertainty-aware regularization). Fisher Information을 사용하여 각 3D Gaussian의 불확실성을 정량적으로 측정하고 제거 확률을 적응적으로 조정함으로써 드롭아웃 기반 정규화의 불안정성을 줄여, 더 안정적이고 효과적인 정규화를 달성한다. 이 두 구성 요소를 통해 본 방법은 희소 시점 3DGS에서 과적합을 효과적으로 완화하고 최적화(optimization)의 안정성을 향상시켜 우수한 렌더링 충실도를 달성한다. 광범위한 실험 결과, 본 방법은 희소 시점 새로운 시점 합성 벤치마크(benchmark)에서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.
소수의 캐주얼한 이미지 촬영으로부터 객체의 완전한 3D 표현을 복원하는 것은 여전히 중요한 도전 과제입니다. 최근 3D 생성 모델, 특히 Flow-Matching(FM) 기반 모델은 고품질의 텍스처가 적용된 에셋을 합성할 수 있지만, 학습된 사전 지식이 관찰 증거보다 우선시되는 '합성 바이어스(synthetic bias)'와 관찰된 인스턴스와의 정렬(alignment) 부족 문제를 자주 겪습니다. 반면, 3D Gaussian Splatting(3DGS)과 같은 최적화 기반 방법은 가시 표면에서 높은 충실도를 제공하지만, 관찰되지 않은 기하학적 구조를 추론하는 데에는 실패합니다. 본 논문에서는 희소 뷰(sparse-view) 3D 재구성을 학습(training) 없는 유도된 역문제(guided inverse problem)로 재정의하는 FlowObject 프레임워크를 제안합니다. 우리의 접근 방식은 플로우 매칭 모델의 상미분 방정식(ODE) 궤적을 제어하기 위해 이중 공간 유도 전략을 적용하여, 실제 관찰 결과와의 엄격한 일관성을 강제하면서 학습된 생성적 사전 지식을 통해 관측되지 않은 영역을 완성합니다. 3DGS 정제 단계를 통합하여 FlowObject는 '합성적인' 생성 결과물과 사실적인 재구성 사이의 격차를 더욱 좁힙니다. 합성 및 실제 데이터셋에 대한 포괄적인 벤치마크를 통해 현재 최신 기법(state-of-the-art)들이 기하학적 완전성과 관찰 일관성을 동시에 달성하는 데 어려움을 겪고 있음을 확인했으며, 이는 특히 심한 폐색(occlusion) 상황에서 두드러집니다. 이에 반해, 우리의 방법은 기하학적 완전성과 뷰 종속 외관 충실도 측면에서 최신 생성 모델 및 최적화 기반 프레임워크를 상당히 능가하는 성능을 보입니다.