Latent Radiance Fields with 3D-aware 2D Representations
원문 초록
Latent 3D reconstruction has shown great promise in empowering 3D semantic understanding and 3D generation by distilling 2D features into the 3D space. However, existing approaches struggle with the domain gap between 2D feature space and 3D representations, resulting in degraded rendering performance. To address this challenge, we propose a novel framework that integrates 3D awareness into the 2D latent space. The framework consists of three stages: (1) a correspondence-aware autoencoding method that enhances the 3D consistency of 2D latent representations, (2) a latent radiance field (LRF) that lifts these 3D-aware 2D representations into 3D space, and (3) a VAE-Radiance Field (VAE-RF) alignment strategy that improves image decoding from the rendered 2D representations. Extensive experiments demonstrate that our method outperforms the state-of-the-art latent 3D reconstruction approaches in terms of synthesis performance and cross-dataset generalizability across diverse indoor and outdoor scenes. To our knowledge, this is the first work showing the radiance field representations constructed from 2D latent representations can yield photorealistic 3D reconstruction performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링
ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation
통합 3D 파운데이션 모델은 단일 백본 내에서 3D 에셋을 생성하고 언어로 추론하는 것을 목표로 하지만, 텍스트-3D 상호작용은 여전히 대체로 암묵적인 수준에 머물러 있다. 기존 방법들은 텍스트와 3D 토큰을 평탄한 시퀀스로 연결하고 셀프 어텐션(self-attention)에 의존하여, 거친 구조적 단서와 세밀한 기하학적 세부사항을 하나의 미분화된 표현으로 축소해 버린다. 우리는 일치하는 추상화 스케일에 맞춰 언어 및 기하학적 추론을 공동으로 구조화하는 탄력적 의미론적 앵커링(elastic semantic anchoring)을 통해 이 문제를 해결하는 통합 3D 모델인 ELSA3D를 소개한다. ELSA3D는 스케일 인식 옥트리 토크나이저를 사용해 기하학적 구조를 표현하며, 희소 크로스 모달 단위인 앵커 토큰(Anchor Tokens)을 도입한다. 이 토큰은 의미론적 단서를 선택하고, 이를 가장 관련성이 높은 3D 스케일로 라우팅하며, 스케일별 기하학적 증거를 검색하고, 융합된 신호를 통합 표현에 다시 기록함으로써 상호작용을 희소하면서도 정밀하게 유지한다. 경량 블록별 라우터는 계산과 추론 모두를 탄력적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 정렬이 가장 필요한 곳에 크로스 모달 용량이 집중되도록 한다. ELSA3D는 이미지-to-3D 생성, 텍스트-to-3D 생성, 3D 캡셔닝 전반에 걸쳐 최고 수준(state-of-the-art)의 성능을 달성하며, 동일 모델의 비탄력적 버전 대비 FLOPs와 추론 지연 시간을 약 절반으로 줄이면서도 가장 강력한 통합 기준선을 능가한다.
MSVS-VAE: 고충실도 3D 재구성을 위한 다중 스케일 앵커 VecSet
MSVS-VAE: Multi-Scale Anchored VecSet for High-Fidelity 3D Reconstruction
고충실도 3D 생성 모델링은 점점 더 잠재 확산(latent diffusion) 패러다임에 의존하고 있으며, 여기서 기반 3D VAE의 재구성 품질이 주요 병목이 된다. 기존 접근법은 크게 두 가지 패러다임을 따른다. 희소 복셀(sparse voxel) 기반 표현은 강력한 재구성 품질을 달성하지만 상당한 메모리 및 계산 오버헤드를 유발하는 반면, 집합(set) 기반 표현은 컴팩트하고 연속적이지만 잠재 희소성과 과도한 전역 평활화로 인해 일반적으로 충실도에서 뒤처진다. 우리는 MSVS-VAE를 제안한다. 이는 컴팩트함을 희생하지 않고 이러한 충실도 격차를 해소하는 계층적 집합 기반 VAE이다. 핵심 아이디어는 계층적 point-shuffle 업샘플링을 통해 앵커 VecSet 잠재 표현을 점진적으로 밀도화하여, 세밀한 기하 모델링을 위한 공간 용량을 늘리는 것이다. 밀도화된 계층으로부터 효율적으로 디코딩하기 위해, 전역 크로스 어텐션(cross-attention)을 AVS-Conv로 대체한다. AVS-Conv는 전체 잠재 집합이 아닌 지역 이웃 내에서 동작하는 기하 인식 지역 집계 연산자이다. 또한 다중 스케일 쿼리 디코딩을 도입하여 거친-세밀(coarse-to-fine) 잠재 특징을 융합한다. 거친 스케일은 안정적인 전역 컨텍스트를 제공하고, 세밀한 스케일은 국소화된 기하를 정제하여 과도하게 지역적인 수용 영역(receptive field)으로 인한 아티팩트를 줄인다. Objaverse, ABO, 실환경(in-the-wild) 벤치마크에 대한 광범위한 실험은 MSVS-VAE가 기존 집합 기반 및 복셀 기반 VAE를 일관되게 능가하며, 기존 집합 기반 방법 대비 약 10배 빠른 디코딩과 복셀 기반 베이스라인 대비 약 10배 높은 컴팩트함을 제공함을 보여준다.
DiffGI: 고충실도 박각(thin-shell) 3D 생성을 위한 미분 가능 기하 이미지(Differentiable Geometry Images)
DiffGI: Differentiable Geometry Images for High-Fidelity Thin-Shell 3D Generation
기존 3D 생성 모델은 대부분 암시적 부피 표현에 의존하며, 이는 watertight 위상을 강제하고 의류와 같은 박각(thin-shell) 및 비매니폴드(non-manifold) 기하를 표현하는 데 어려움이 있다. Geometry image 기반 접근법은 표면 중심의 대안을 제공하지만, 기존 방법은 이산 이진 점유 맵에 의존하며, 해상도 의존적 경계 인코딩으로 계단 현상(artifact)과 다운샘플링 시 정보 손실을 유발한다. 또한 표면 재구성은 학습 파이프라인과 분리된 미분 불가능한 사후처리 단계로 남아 있다. 이를 해결하기 위해, 표면 표현과 기하 최적화를 원활하게 통합하는 end-to-end 3D-to-2D 매핑 프레임워크인 미분 가능 기하 이미지(Differentiable Geometry Image, DiffGI)를 제안한다. DiffGI는 이진 맵을 연속 2D 절단 부호 거리 함수(Truncated Signed Distance Function, TSDF)로 대체하며, 고정 그리드 해상도 내에서 서브픽셀 정밀도로 경계 위치를 인코딩하여 공격적인 다운샘플링 하에서도 해상도 의존적 계단 현상을 제거한다. 이 연속 필드를 기반으로, 해석적 선형 보간에 기반한 미분 가능 Marching Squares 알고리즘을 도입하여 3D 표면 손실로부터의 기울기가 2D 잠재 공간으로 역전파되도록 한다. 이 미분 가능 파이프라인을 활용하여, 기하 인식 법선 렌더링 손실로 보강한 DiffGI-VAE를 학습하여 복잡한 3D 표면을 초소형 32×32 잠재 공간으로 압축하고, 이 공간 위에 flow-matching 목적함수를 갖는 트랜스포머 기반 잠재 확산 모델을 구현하여 조건부 3D 생성을 수행한다. 의류 및 객체 데이터셋에 대한 광범위한 실험을 통해, 제안 방법이 기존 geometry-image 및 복셀 기반 접근법 대비 우수한 재구성 충실도와 경계 정밀도를 달성하면서도 계산 자원을 훨씬 적게 필요로 함을 보여준다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.