NEPHELE: A Neural Platform for Highly Realistic Cloud Radiance Rendering
원문 초록
We have recently seen tremendous progress in neural rendering (NR) advances, i.e., NeRF, for photo-real free-view synthesis. Yet, as a local technique based on a single computer/GPU, even the best-engineered Instant-NGP or i-NGP cannot reach real-time performance when rendering at a high resolution, and often requires huge local computing resources. In this paper, we resort to cloud rendering and present NEPHELE, a neural platform for highly realistic cloud radiance rendering. In stark contrast with existing NR approaches, our NEPHELE allows for more powerful rendering capabilities by combining multiple remote GPUs and facilitates collaboration by allowing multiple people to view the same NeRF scene simultaneously. We introduce i-NOLF to employ opacity light fields for ultra-fast neural radiance rendering in a one-query-per-ray manner. We further resemble the Lumigraph with geometry proxies for fast ray querying and subsequently employ a small MLP to model the local opacity lumishperes for high-quality rendering. We also adopt Perfect Spatial Hashing in i-NOLF to enhance cache coherence. As a result, our i-NOLF achieves an order of magnitude performance gain in terms of efficiency than i-NGP, especially for the multi-user multi-viewpoint setting under cloud rendering scenarios. We further tailor a task scheduler accompanied by our i-NOLF representation and demonstrate the advance of our methodological design through a comprehensive cloud platform, consisting of a series of cooperated modules, i.e., render farms, task assigner, frame composer, and detailed streaming strategies. Using such a cloud platform compatible with neural rendering, we further showcase the capabilities of our cloud radiance rendering through a series of applications, ranging from cloud VR/AR rendering.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고품질 프리미티브 기반 신경 재구성을 위한 신경 조화 텍스처
Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction
3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 프리미티브 기반 방법은 최근 새로운 시점 합성(novel-view synthesis) 및 관련 재구성 태스크에서 최첨단 기술로 자리잡았다. 신경 필드(neural fields)와 비교하여 이러한 표현 방식은 더 유연하고 적응적이며 대규모 장면에 대한 확장성이 뛰어나다. 그러나 개별 프리미티브의 표현력 한계로 인해 고주파 세부 정보를 모델링하는 것이 어렵다. 본 논문에서는 신경 조화 텍스처(Neural Harmonic Textures)를 소개한다. 이는 각 프리미티브를 둘러싸는 가상 스캐폴드(scaffold)에 잠재 특징(feature) 벡터를 고정하는 신경 표현 접근법이다. 이러한 특징은 광선 교차점에서 프리미티브 내부에 보간된다. 푸리에 분석에서 영감을 받아 보간된 특징에 주기적 활성화 함수를 적용함으로써, 알파 블렌딩을 조화 성분의 가중 합산으로 변환한다. 결과 신호는 소규모 신경망(neural network)을 사용한 단일 지연 패스(deferred pass)에서 디코딩되어 계산 비용을 크게 줄인다. 신경 조화 텍스처는 실시간 새로운 시점 합성에서 최첨단 성능을 달성하는 동시에 프리미티브 기반 재구성과 신경 필드 기반 재구성 간의 격차를 줄인다. 본 방법은 3DGUT, Triangle Splatting, 2DGS 등 기존 프리미티브 기반 파이프라인에 원활하게 통합된다. 또한 2D 이미지 피팅 및 의미론적 재구성(semantic reconstruction)에 대한 응용을 통해 방법의 범용성을 추가로 입증한다.
NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집
NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field
최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/
LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성
Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
SeKV: 장문 컨텍스트 대규모 언어 모델 추론을 위한 계층적 시맨틱 메모리 기반 해상도 적응형 KV 캐시
SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference
토론
이 논문과 연결된 포럼 글이 아직 없습니다.