Prompt2NeRF-PIL: Fast NeRF Generation via Pretrained Implicit Latent
원문 초록
This paper explores promptable NeRF generation (e.g., text prompt or single image prompt) for direct conditioning and fast generation of NeRF parameters for the underlying 3D scenes, thus undoing complex intermediate steps while providing full 3D generation with conditional control. Unlike previous diffusion-CLIP-based pipelines that involve tedious per-prompt optimizations, Prompt2NeRF-PIL is capable of generating a variety of 3D objects with a single forward pass, leveraging a pre-trained implicit latent space of NeRF parameters. Furthermore, in zero-shot tasks, our experiments demonstrate that the NeRFs produced by our method serve as semantically informative initializations, significantly accelerating the inference process of existing prompt-to-NeRF methods. Specifically, we will show that our approach speeds up the text-to-NeRF model DreamFusion and the 3D reconstruction speed of the image-to-NeRF method Zero-1-to-3 by 3 to 5 times.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링
ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation
통합 3D 파운데이션 모델은 단일 백본 내에서 3D 에셋을 생성하고 언어로 추론하는 것을 목표로 하지만, 텍스트-3D 상호작용은 여전히 대체로 암묵적인 수준에 머물러 있다. 기존 방법들은 텍스트와 3D 토큰을 평탄한 시퀀스로 연결하고 셀프 어텐션(self-attention)에 의존하여, 거친 구조적 단서와 세밀한 기하학적 세부사항을 하나의 미분화된 표현으로 축소해 버린다. 우리는 일치하는 추상화 스케일에 맞춰 언어 및 기하학적 추론을 공동으로 구조화하는 탄력적 의미론적 앵커링(elastic semantic anchoring)을 통해 이 문제를 해결하는 통합 3D 모델인 ELSA3D를 소개한다. ELSA3D는 스케일 인식 옥트리 토크나이저를 사용해 기하학적 구조를 표현하며, 희소 크로스 모달 단위인 앵커 토큰(Anchor Tokens)을 도입한다. 이 토큰은 의미론적 단서를 선택하고, 이를 가장 관련성이 높은 3D 스케일로 라우팅하며, 스케일별 기하학적 증거를 검색하고, 융합된 신호를 통합 표현에 다시 기록함으로써 상호작용을 희소하면서도 정밀하게 유지한다. 경량 블록별 라우터는 계산과 추론 모두를 탄력적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 정렬이 가장 필요한 곳에 크로스 모달 용량이 집중되도록 한다. ELSA3D는 이미지-to-3D 생성, 텍스트-to-3D 생성, 3D 캡셔닝 전반에 걸쳐 최고 수준(state-of-the-art)의 성능을 달성하며, 동일 모델의 비탄력적 버전 대비 FLOPs와 추론 지연 시간을 약 절반으로 줄이면서도 가장 강력한 통합 기준선을 능가한다.
교실 내 CFD 기반 기류 분석을 위한 360도 비디오 기반 실내 형상 반자동 복원
Semi-automated reconstruction of indoor geometry from 360-degree video for CFD-based airflow analysis in classrooms
전산유체역학(CFD)은 재실 건물의 환기 및 오염 물질 이송을 평가하는 데 널리 사용되지만, 값비싼 스캐닝 하드웨어나 수동 CAD 모델링 없이 실내 형상을 획득하는 문제, 장면을 개별적으로 조작 가능한 객체로 분해하는 문제, 그리고 실내를 다시 촬영하지 않고도 대체 레이아웃에 맞춰 해당 객체들을 재구성하는 문제라는 세 가지 병목 현상으로 인해 대규모 배포가 제한됩니다. 본 연구에서는 단일 360도 실내 비디오를 개별 편집 및 시뮬레이션이 가능한 형상 에셋으로 변환하는 반자동 워크플로우를 제시합니다. 뉴럴 래디언스 필드(NeRF)를 사용해 조밀한 포인트 클라우드를 복원하고, 텍스트 프롬프트 기반 SAM 3 세그멘테이션으로 얻은 2D 인스턴스 마스크를 다중 뷰 일관성 및 심도 대역 필터링을 통해 3D로 투영합니다. 포인트들은 옥트리(octree)를 통해 객체 인스턴스로 분리되며, 가려짐으로 인한 결손 영역은 연결성 그래프를 통해 보충됩니다. 의자 템플릿은 ICP(Iterative Closest Point) 정렬을 통해 피팅되고, 테이블 형상은 절차적으로 생성됩니다. 브라우저 기반 에디터는 품질 보증과 대체 레이아웃 구성의 신속한 구축을 지원합니다. 이후 정상 상태 레이놀즈 평균(Reynolds-averaged) OpenFOAM 솔루션이 비정상 수동 스칼라 이송을 구동하며, 해당 설정은 격자 민감도 연구를 통해 검증되고 IEA Annex 20 벤치마크를 바탕으로 유효성이 입증됩니다. 본 워크플로우를 두 곳의 대학교 강의실과 계단식 계단 강의실에 적용했습니다. 캡처에서 형상 생성까지의 과정은 소비자용 워크스테이션에서 실당 2~5시간이 소요됩니다. 한 강의실에서 진행된 제어된 장애물 추가 시퀀스에서 가구가 추가됨에 따라 모델링된 반감 제거 시간(half-clearance time)은 비단조적으로 변하며, 공간 간 비교 결과 제거 특성을 공간 간에 신뢰성 있게 외삽할 수 없음을 보여줌으로써 공간별 형상 획득의 필요성을 입증합니다. 본 워크플로우는 이러한 형상 획득을 저비용으로 가능하게 함으로써 교실과 같은 공간에 대해 형상이 상세히 반영된 비교 환기 연구를 실용적으로 수행할 수 있도록 합니다.
MSVS-VAE: 고충실도 3D 재구성을 위한 다중 스케일 앵커 VecSet
MSVS-VAE: Multi-Scale Anchored VecSet for High-Fidelity 3D Reconstruction
고충실도 3D 생성 모델링은 점점 더 잠재 확산(latent diffusion) 패러다임에 의존하고 있으며, 여기서 기반 3D VAE의 재구성 품질이 주요 병목이 된다. 기존 접근법은 크게 두 가지 패러다임을 따른다. 희소 복셀(sparse voxel) 기반 표현은 강력한 재구성 품질을 달성하지만 상당한 메모리 및 계산 오버헤드를 유발하는 반면, 집합(set) 기반 표현은 컴팩트하고 연속적이지만 잠재 희소성과 과도한 전역 평활화로 인해 일반적으로 충실도에서 뒤처진다. 우리는 MSVS-VAE를 제안한다. 이는 컴팩트함을 희생하지 않고 이러한 충실도 격차를 해소하는 계층적 집합 기반 VAE이다. 핵심 아이디어는 계층적 point-shuffle 업샘플링을 통해 앵커 VecSet 잠재 표현을 점진적으로 밀도화하여, 세밀한 기하 모델링을 위한 공간 용량을 늘리는 것이다. 밀도화된 계층으로부터 효율적으로 디코딩하기 위해, 전역 크로스 어텐션(cross-attention)을 AVS-Conv로 대체한다. AVS-Conv는 전체 잠재 집합이 아닌 지역 이웃 내에서 동작하는 기하 인식 지역 집계 연산자이다. 또한 다중 스케일 쿼리 디코딩을 도입하여 거친-세밀(coarse-to-fine) 잠재 특징을 융합한다. 거친 스케일은 안정적인 전역 컨텍스트를 제공하고, 세밀한 스케일은 국소화된 기하를 정제하여 과도하게 지역적인 수용 영역(receptive field)으로 인한 아티팩트를 줄인다. Objaverse, ABO, 실환경(in-the-wild) 벤치마크에 대한 광범위한 실험은 MSVS-VAE가 기존 집합 기반 및 복셀 기반 VAE를 일관되게 능가하며, 기존 집합 기반 방법 대비 약 10배 빠른 디코딩과 복셀 기반 베이스라인 대비 약 10배 높은 컴팩트함을 제공함을 보여준다.
Hash-QNeRF: 양자 신경 방사 필드를 위한 다중해상도 해시 인코딩
Hash-QNeRF: Multiresolution Hash Encoding for Quantum Neural Radiance Fields
신경 방사 필드(Neural Radiance Fields, NeRF)는 신규 시점 합성을 혁신했지만, 고전적 구현은 고충실도 렌더링에 여전히 계산 비용이 크다. QNeRF는 최근 진폭 임베딩, 매개변수화 양자 회로(PQC), 패리티 기반 측정, 체적 렌더링을 결합하여 게이트 기반 양자 컴퓨터에서 NeRF를 학습하는 것이 가능함을 보였다. 그러나 QNeRF는 공간 좌표에 고전적 사인파 위치 인코딩에 의존하며, 이는 장면 복잡도 및 해상도에 따라 확장성이 떨어진다. 본 연구에서는 시점 방향 인코딩, 진폭 MLP, 양자 회로, 패리티 측정, 출력 스케일링, 체적 렌더링 파이프라인은 그대로 유지한 채, 공간 좌표용 사인파 위치 인코딩을 Instant-NGP의 다중해상도 해시 인코딩으로 대체한다. 이 하이브리드 설계인 Hash-QNeRF는 학습 가능한 해시 그리드의 빠른 수렴과 메모리 효율성을 활용하면서도 양자 방사량 예측 단계를 유지한다. 합성 Blender 장면에서 최종 학습 손실 0.003534를 달성했으며, 이는 피팅된 배치에서 약 24.5 dB PSNR에 해당한다. Qiskit FakeKyiv 및 FakeTorino 백엔드를 사용한 잡음 강건성 실험에서는 상태 충실도가 0.93에서 0.98로 나타나, 해시 인코딩이 양자 회로의 잡음 내성을 저하시키지 않음을 보인다.
Deformable Triangle Splatting: 실시간 Radiance Field 렌더링을 위한 유연한 프리미티브
Deformable Triangle Splatting: Flexible Primitives for Real-Time Radiance Field Rendering
최근 radiance field 방법들은 가우시안 디스크부터 삼각형까지, 표면 정렬과 효율적인 래스터화를 제공하는 2D 프리미티브로 장면을 표현하지만, 모두 볼록(convex) 경계에 의존한다. 곡선 및 오목(concave) 구조는 과도한 수의 프리미티브를 요구한다. 우리는 Deformable Triangle Splatting을 제안한다. 이는 각 삼각형의 변마다 $K$개의 제어점을 추가하며, 각 제어점은 경계를 안쪽 또는 바깥쪽으로 이동시키는 단일 학습 가능 스칼라 변위(displacement)로 매개변수화되어, 3D 평면을 정의하는 세 개의 기본 정점을 유지하면서 비볼록(non-convex) 형상 표현을 가능하게 한다. 이러한 비볼록 프리미티브를 미분 가능하게 렌더링하기 위해, 삼각형의 barycentric 좌표 공간에서 래스터화 파이프라인을 설계하여 시점 일관(view-consistent) 렌더링을 보장한다. winding number 테스트는 각 픽셀이 변형된 프리미티브 내부에 있는지를 판별하며, sharpness와 corner smoothness라는 두 개의 학습 가능 매개변수로 제어되는 window function과 프리미티브당 스칼라 opacity가 함께 내부에서 경계로의 부드러운 opacity 전환을 생성한다. 검증은 다양한 실세계 장면에서 수행되며, 비체적(non-volumetric) 프리미티브 기반 최근 연구들을 시각적 품질과 범용성 측면에서 능가하면서도 여전히 경쟁력 있는 렌더링 효율을 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.