DeformStream: Deformation-based Adaptive Volumetric Video Streaming
원문 초록
Volumetric video streaming offers immersive 3D experiences but faces significant challenges due to high bandwidth requirements and latency issues in transmitting detailed content in real time. Traditional methods like point cloud streaming compromise visual quality when zoomed in, and neural rendering techniques are too computationally intensive for real-time use. Though mesh-based streaming stands out by preserving surface detail and connectivity, offering a more refined representation for 3D content, traditional mesh streaming methods typically transmit data on a per-frame basis, failing to take full advantage of temporal redundancies across frames. This results in inefficient bandwidth usage and poor adaptability to fluctuating network conditions. We introduce Deformation-based Adaptive Volumetric Video Streaming, a novel framework that enhances volumetric video streaming performance by leveraging the inherent deformability of mesh-based representations. DeformStream uses embedded deformation to reconstruct subsequent frames from inter-frame motion, significantly reducing bandwidth usage while ensuring visual coherence between frames. To address frame reconstruction overhead and network adaptability, we formulate a new QoE model that accounts for client-side deformation latency and design a dynamic programming algorithm to optimize the trade-off between visual quality and bandwidth consumption under varying network conditions. Our evaluation demonstrates that Deformation-based Adaptive Volumetric Video Streaming outperforms existing mesh-based streaming systems in both bandwidth efficiency and visual quality, offering a robust solution for real-time volumetric video applications.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
혈관 확률 유도 감쇠 학습을 통한 희소 뷰 동적 DSA 영상에서의 3D 혈관 재구성
3D Vessel Reconstruction from Sparse-View Dynamic DSA Images via Vessel Probability Guided Attenuation Learning
디지털 소거 혈관 조영술(DSA)은 혈관 질환 진단의 표준(gold standard) 중 하나입니다. 조영제(contrast agent)의 도움을 받아 시간 분해 2D DSA 영상은 포괄적인 혈류 정보를 제공하며, 의학적 평가를 위해 3D 혈관 구조를 재구성하는 데 활용될 수 있습니다. 현재 상용 DSA 시스템은 재구성을 수행하기 위해 일반적으로 수백 개의 스캔 뷰가 필요하며, 이로 인해 상당한 방사선 노출이 발생합니다. 본 연구에서는 방사선 양을 줄이기 위해 고품질 희소 뷰(sparse-view) DSA 재구성에 맞춰진 신경 렌더링 기반 최적화 프레임워크를 제안합니다. 혈관 확률 유도 감쇠 학습(vessel probability guided attenuation learning)이라고 불리는 우리의 접근 방식은 DSA 영상을 시간 독립적인 혈관 확률 필드에서 유도된 가중치를 통해 정적 및 동적 감쇠 필드의 상호 보완적인 가중 조합으로 표현합니다. 전경 마스크(foreground mask)로 기능하는 혈관 확률은 다양한 장면 유형에 적응하는 정적 및 동적 필드 모두에 적절한 그라디언트를 제공합니다. 이 메커니즘은 정적 배경과 동적 조영제 흐름 간의 자기 지도(self-supervised) 분해를 가능하게 하며, 재구성 품질을 크게 향상시킵니다. 우리의 모델은 합성된 투영(projection)과 실제 캡처된 DSA 영상 간의 불일치를 최소화하여 학습됩니다. 또한, 우리는 재구성 품질을 향상시키기 위해 두 가지 학습 전략을 사용합니다: (1) 더 나은 기하학을 위한 거칠게에서 정교하게(coarse-to-fine) 점진적 학습, (2) 시간적 일관성을 위한 시간적 섭동 렌더링 손실(temporal perturbed rendering loss). 실험 결과는 고품질의 3D 혈관 재구성 및 2D DSA 영상 합성을 입증했습니다.
R3eVision: A Survey on Robust Rendering, Restoration, and Enhancement for 3D Low-Level Vision
Unifying Appearance Codes and Bilateral Grids for Driving Scene Gaussian Splatting
3DGEER: Exact and Efficient Volumetric Rendering with 3D Gaussians
RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination
GoLF-NRT: Integrating Global Context and Local Geometry for Few-Shot View Synthesis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.