arXiv:2403.06394

FSViewFusion: Few-Shots View Generation of Novel Objects

Rukhshanda Hussain, Hui Xian Grace Lim, BorChun Chen, Mubarak Shah, Ser Nam Lim

제출 2024-03-11

원문 초록

Novel view synthesis has observed tremendous developments since the arrival of NeRFs. However, Nerf models overfit on a single scene, lacking generalization to out of distribution objects. Recently, diffusion models have exhibited remarkable performance on introducing generalization in view synthesis. Inspired by these advancements, we explore the capabilities of a pretrained stable diffusion model for view synthesis without explicit 3D priors. Specifically, we base our method on a personalized text to image model, Dreambooth, given its strong ability to adapt to specific novel objects with a few shots. Our research reveals two interesting findings. First, we observe that Dreambooth can learn the high level concept of a view, compared to arguably more complex strategies which involve finetuning diffusions on large amounts of multi-view data. Second, we establish that the concept of a view can be disentangled and transferred to a novel object irrespective of the original object's identify from which the views are learnt. Motivated by this, we introduce a learning strategy, FSViewFusion, which inherits a specific view through only one image sample of a single scene, and transfers the knowledge to a novel object, learnt from few shots, using low rank adapters. Through extensive experiments we demonstrate that our method, albeit simple, is efficient in generating reliable view samples for in the wild images. Code and models will be released.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13757v1cs.CV공통 태그 Novel View Synthesis, NeRF

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2603.28431v4cs.CV공통 태그 Novel View Synthesis, NeRF

LG-HCC: 3D Gaussian Splatting을 위한 국소 기하 인식 계층적 컨텍스트 압축

LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting

3D Gaussian Splatting(3DGS)은 고충실도 실시간 렌더링을 가능하게 하지만, 과도한 저장 공간 부담이 실용 배포를 크게 저해한다. 최근 앵커 기반 3DGS 압축 방식은 고급 컨텍스트 모델을 통해 가우시안 중복을 줄인다. 그러나 이들은 명시적 기하 의존성을 간과하여 구조적 열화와 차원(rate-distortion) 성능 저하를 초래한다. 본 논문에서는 3DGS를 위한 국소 기하 인식 계층적 컨텍스트 압축(Local Geometry-aware Hierarchical Context Compression, LG-HCC) 프레임워크를 제안한다. 이는 앵커 간 기하 상관을 앵커 가지치기와 엔트로피 코딩에 통합하여 compact 표현을 달성한다. 구체적으로, 가중 이웃 특징 집계로 앵커 중요도를 평가한 뒤 기여도가 낮은 앵커를 두드러진 이웃에 병합하는 이웃 인식 앵커 가지치기(Neighborhood-Aware Anchor Pruning, NAAP) 전략을 도입하여, compact하면서도 기하적으로 일관된 앵커 집합을 만든다. 또한 경량 기하 유도 합성곱(Geometry-Guided Convolution, GG-Conv) 연산자로 거친-세밀(coarse-to-fine) 사전분포를 활용하는 계층적 엔트로피 코딩 방식을 추가로 설계하여, 공간적으로 적응적인 컨텍스트 모델링과 rate-distortion 최적화를 가능하게 한다. 광범위한 실험에서 LG-HCC는 구조 보존 문제를 효과적으로 완화하며, Mip-NeRF360 데이터셋에서 Scaffold-GS 기준선 대비 최대 30.85배 저장 공간을 줄이면서도 우수한 기하적 무결성과 렌더링 충실도를 달성한다.

arXiv:2604.13416v4cs.CV공통 태그 Novel View Synthesis, NeRF

DF3DV-1K: 방해물 제거 새로운 시점 합성을 위한 대규모 데이터셋 및 벤치마크

DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis

라디언스 필드(radiance fields)의 발전은 사실적인 새로운 시점 합성(novel view synthesis)을 가능하게 했습니다. 여러 도메인에서 장면 특화(scene-specific) 재구성을 넘어선 발전을 지원하고 종합적인 벤치마킹을 위해 대규모 실제 환경 데이터셋이 개발되었습니다. 하지만 방해물 제거 라디언스 필드(distractor-free radiance fields)의 경우, 장면별로 깨끗한 이미지와 방해물이 섞인(cluttered) 이미지를 모두 제공하는 대규모 데이터셋이 여전히 부족하여 개발이 제한되고 있습니다. 이러한 격차를 해소하기 위해 DF3DV-1K를 소개합니다. 이는 1,048개의 장면으로 구성된 대규모 실제 환경 데이터셋으로, 벤치마킹을 위해 각 장면마다 깨끗한 이미지 세트와 방해물이 섞인 이미지 세트를 제공합니다. 총 89,924장의 이미지가 포함된 이 데이터셋은 소비자용 카메라를 사용하여 일상적인 촬영(casual capture)을 모방하여 캡처되었으며, 실내 및 실외 환경에 걸쳐 128개의 방해물 유형과 161개의 장면 테마를 아우릅니다. 41개 장면으로 구성된 선별된 부분 집합인 DF3DV-41은 도전적인 시나리오에서 방해물 제거 라디언스 필드 방법들의 견고성(robustness)을 평가하도록 체계적으로 설계되었습니다. DF3DV-1K를 사용하여 최근의 방해물 제거 라디언스 필드 방법 9개와 3D 가우시안 스플래팅(3D Gaussian Splatting)을 벤치마킹하여 가장 견고한 방법과 가장 도전적인 시나리오를 식별했습니다. 벤치마킹을 넘어, DF3DV-1K의 응용 사례로 디퓨전 기반 2D 향상 모델(diffusion-based 2D enhancer)을 미세조정(fine-tuning)하여 라디언스 필드 방법을 개선하는 방법을 시연했습니다. 그 결과 보류 평가셋(held-out set, 예: DF3DV-41)과 On-the-go 데이터셋에서 평균 0.96 dB PSNR 및 0.057 LPIPS의 향상을 달성했습니다. DF3DV-1K가 방해물 제거 비전(distractor-free vision)의 개발을 촉진하고 장면 특화 접근 방식을 넘어선 진전을 촉진하기를 바랍니다. 데이터셋과 리더보드는 https://johnnylu305.github.io/df3dv1k_web/ 에서 확인할 수 있습니다.

arXiv:2607.21675v1quant-ph공통 태그 Novel View Synthesis, NeRF

Hash-QNeRF: 양자 신경 방사 필드를 위한 다중해상도 해시 인코딩

Hash-QNeRF: Multiresolution Hash Encoding for Quantum Neural Radiance Fields

신경 방사 필드(Neural Radiance Fields, NeRF)는 신규 시점 합성을 혁신했지만, 고전적 구현은 고충실도 렌더링에 여전히 계산 비용이 크다. QNeRF는 최근 진폭 임베딩, 매개변수화 양자 회로(PQC), 패리티 기반 측정, 체적 렌더링을 결합하여 게이트 기반 양자 컴퓨터에서 NeRF를 학습하는 것이 가능함을 보였다. 그러나 QNeRF는 공간 좌표에 고전적 사인파 위치 인코딩에 의존하며, 이는 장면 복잡도 및 해상도에 따라 확장성이 떨어진다. 본 연구에서는 시점 방향 인코딩, 진폭 MLP, 양자 회로, 패리티 측정, 출력 스케일링, 체적 렌더링 파이프라인은 그대로 유지한 채, 공간 좌표용 사인파 위치 인코딩을 Instant-NGP의 다중해상도 해시 인코딩으로 대체한다. 이 하이브리드 설계인 Hash-QNeRF는 학습 가능한 해시 그리드의 빠른 수렴과 메모리 효율성을 활용하면서도 양자 방사량 예측 단계를 유지한다. 합성 Blender 장면에서 최종 학습 손실 0.003534를 달성했으며, 이는 피팅된 배치에서 약 24.5 dB PSNR에 해당한다. Qiskit FakeKyiv 및 FakeTorino 백엔드를 사용한 잡음 강건성 실험에서는 상태 충실도가 0.93에서 0.98로 나타나, 해시 인코딩이 양자 회로의 잡음 내성을 저하시키지 않음을 보인다.

arXiv:2607.22446v1cs.CV공통 태그 Novel View Synthesis, NeRF

Deformable Triangle Splatting: 실시간 Radiance Field 렌더링을 위한 유연한 프리미티브

Deformable Triangle Splatting: Flexible Primitives for Real-Time Radiance Field Rendering

최근 radiance field 방법들은 가우시안 디스크부터 삼각형까지, 표면 정렬과 효율적인 래스터화를 제공하는 2D 프리미티브로 장면을 표현하지만, 모두 볼록(convex) 경계에 의존한다. 곡선 및 오목(concave) 구조는 과도한 수의 프리미티브를 요구한다. 우리는 Deformable Triangle Splatting을 제안한다. 이는 각 삼각형의 변마다 $K$개의 제어점을 추가하며, 각 제어점은 경계를 안쪽 또는 바깥쪽으로 이동시키는 단일 학습 가능 스칼라 변위(displacement)로 매개변수화되어, 3D 평면을 정의하는 세 개의 기본 정점을 유지하면서 비볼록(non-convex) 형상 표현을 가능하게 한다. 이러한 비볼록 프리미티브를 미분 가능하게 렌더링하기 위해, 삼각형의 barycentric 좌표 공간에서 래스터화 파이프라인을 설계하여 시점 일관(view-consistent) 렌더링을 보장한다. winding number 테스트는 각 픽셀이 변형된 프리미티브 내부에 있는지를 판별하며, sharpness와 corner smoothness라는 두 개의 학습 가능 매개변수로 제어되는 window function과 프리미티브당 스칼라 opacity가 함께 내부에서 경계로의 부드러운 opacity 전환을 생성한다. 검증은 다양한 실세계 장면에서 수행되며, 비체적(non-volumetric) 프리미티브 기반 최근 연구들을 시각적 품질과 범용성 측면에서 능가하면서도 여전히 경쟁력 있는 렌더링 효율을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.