arXiv:2305.03572

Learn how to Prune Pixels for Multi-view Neural Image-based Synthesis

Marta Milovanović, Enzo Tartaglione, Marco Cagnazzo, Félix Henry

제출 2023-05-05

원문 초록

Image-based rendering techniques stand at the core of an immersive experience for the user, as they generate novel views given a set of multiple input images. Since they have shown good performance in terms of objective and subjective quality, the research community devotes great effort to their improvement. However, the large volume of data necessary to render at the receiver's side hinders applications in limited bandwidth environments or prevents their employment in real-time applications. We present LeHoPP, a method for input pixel pruning, where we examine the importance of each input pixel concerning the rendered view, and we avoid the use of irrelevant pixels. Even without retraining the image-based rendering network, our approach shows a good trade-off between synthesis quality and pixel rate. When tested in the general neural rendering framework, compared to other pruning baselines, LeHoPP gains between $0.9$ dB and $3.6$ dB on average.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2405.10705v2eess.IV공통 태그 Neural Rendering공식 코드 · Papers with Code

혈관 확률 유도 감쇠 학습을 통한 희소 뷰 동적 DSA 영상에서의 3D 혈관 재구성

3D Vessel Reconstruction from Sparse-View Dynamic DSA Images via Vessel Probability Guided Attenuation Learning

디지털 소거 혈관 조영술(DSA)은 혈관 질환 진단의 표준(gold standard) 중 하나입니다. 조영제(contrast agent)의 도움을 받아 시간 분해 2D DSA 영상은 포괄적인 혈류 정보를 제공하며, 의학적 평가를 위해 3D 혈관 구조를 재구성하는 데 활용될 수 있습니다. 현재 상용 DSA 시스템은 재구성을 수행하기 위해 일반적으로 수백 개의 스캔 뷰가 필요하며, 이로 인해 상당한 방사선 노출이 발생합니다. 본 연구에서는 방사선 양을 줄이기 위해 고품질 희소 뷰(sparse-view) DSA 재구성에 맞춰진 신경 렌더링 기반 최적화 프레임워크를 제안합니다. 혈관 확률 유도 감쇠 학습(vessel probability guided attenuation learning)이라고 불리는 우리의 접근 방식은 DSA 영상을 시간 독립적인 혈관 확률 필드에서 유도된 가중치를 통해 정적 및 동적 감쇠 필드의 상호 보완적인 가중 조합으로 표현합니다. 전경 마스크(foreground mask)로 기능하는 혈관 확률은 다양한 장면 유형에 적응하는 정적 및 동적 필드 모두에 적절한 그라디언트를 제공합니다. 이 메커니즘은 정적 배경과 동적 조영제 흐름 간의 자기 지도(self-supervised) 분해를 가능하게 하며, 재구성 품질을 크게 향상시킵니다. 우리의 모델은 합성된 투영(projection)과 실제 캡처된 DSA 영상 간의 불일치를 최소화하여 학습됩니다. 또한, 우리는 재구성 품질을 향상시키기 위해 두 가지 학습 전략을 사용합니다: (1) 더 나은 기하학을 위한 거칠게에서 정교하게(coarse-to-fine) 점진적 학습, (2) 시간적 일관성을 위한 시간적 섭동 렌더링 손실(temporal perturbed rendering loss). 실험 결과는 고품질의 3D 혈관 재구성 및 2D DSA 영상 합성을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.