Dynamic Neural Portraits
원문 초록
We present Dynamic Neural Portraits, a novel approach to the problem of full-head reenactment. Our method generates photo-realistic video portraits by explicitly controlling head pose, facial expressions and eye gaze. Our proposed architecture is different from existing methods that rely on GAN-based image-to-image translation networks for transforming renderings of 3D faces into photo-realistic images. Instead, we build our system upon a 2D coordinate-based MLP with controllable dynamics. Our intuition to adopt a 2D-based representation, as opposed to recent 3D NeRF-like systems, stems from the fact that video portraits are captured by monocular stationary cameras, therefore, only a single viewpoint of the scene is available. Primarily, we condition our generative model on expression blendshapes, nonetheless, we show that our system can be successfully driven by audio features as well. Our experiments demonstrate that the proposed method is 270 times faster than recent NeRF-based reenactment methods, with our networks achieving speeds of 24 fps for resolutions up to 1024 x 1024, while outperforming prior works in terms of visual quality.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 사전 정보 기반 확산 모델을 이용한 원샷 새로운 시점 및 자세 인간 이미지 합성
One-Shot Novel View and Pose Human Image Synthesis via 3D Prior Guided Diffusion Model
본 논문은 원샷 새로운 시점 및 자세 인간 이미지 합성의 문제를 다룹니다. 기존 방법들은 2D 자세 키포인트 세트를 사용하여 참조 인간 이미지를 목표 자세로 변환하거나, 인간 모델 사전(prior)을 사용하여 점별(point-wise) 특징을 추출하는 일반화 가능한 인간 NeRF를 기반으로 인간 이미지를 합성합니다. 그러나 자세 변환 기반 방법들은 모호한 2D 자세를 조건으로 사용하여 복잡한 인간 자세를 처리할 수 없는 반면, 일반화 가능한 인간 NeRF는 신뢰할 수 있는 특징이 추출되지 않으면 가려지거나 보이지 않는 인간 부분을 복원하는 데 부정확할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 조건부 디노이징 확산 모델을 통해 단일 인간 이미지에서 새로운 시점과 자세를 합성하는 새로운 접근법을 제안합니다. 제안하는 확산 모델은 새로운 시점 및 자세 합성 문제를 일련의 조건부 디노이징 단계로 나눕니다. 구체적으로, 복잡하고 임의의 자세를 가진 인간을 생성하기 위해 3D 인간 사전, 즉 3D 노말 맵과 컬러 프롬프트를 생성 과정에 기하학 및 색상 조건으로 도입합니다. 일련의 확산 단계를 통해 참조 인간을 목표 인간으로 변환함으로써, 제안하는 확산 모델은 가려지거나 보이지 않는 부분을 포함하여 고품질의 합성을 가능하게 합니다. 또한, 새로운 사람에 대해 테스트할 때 미세한 디테일을 향상시키기 위해 자기 재구성 기반의 맞춤형 정제(refinement) 방법을 제안합니다. 다양한 공개 데이터셋에 대한 실험 결과, 제안하는 방법이 기존 방법들을 상당히 능가하며 데이터셋 간에 더 우수한 일반화 능력을 보임을 입증했습니다. 코드는 https://github.com/Yankeegsj/3DPGDM 에서 공개될 예정입니다.
3D 장면 생성: 종합 조사
3D Scene Generation: A Survey
3D 장면 생성은 몰입형 미디어, 로보틱스, 자율주행, 체화 AI(embodied AI) 등의 응용을 위해 공간적으로 구조화되고 의미론적으로 유의미하며 포토리얼리스틱(photorealistic)한 환경을 합성하는 것을 목표로 한다. 절차적 규칙(procedural rules)에 기반한 초기 방법은 확장성은 제공했으나 다양성은 제한적이었다. 딥 생성 모델(예: GAN, diffusion model)과 3D 표현(예: NeRF, 3D Gaussians)의 최근 발전은 실세계 장면 분포의 학습을 가능하게 하여 충실도, 다양성, 시점 일관성을 개선했다. diffusion model과 같은 최근 기법은 생성을 이미지 또는 영상 합성 문제로 재구성함으로써 3D 장면 합성과 포토리얼리즘(photorealism)을 연결한다. 본 조사는 최신(state-of-the-art) 접근법에 대한 체계적 개관을 제공하며, 이를 절차적 생성, 신경망 3D 기반 생성, 이미지 기반 생성, 영상 기반 생성의 네 가지 패러다임으로 구분한다. 각 방법의 기술적 기반, 트레이드오프, 대표적 결과를 분석하고, 널리 사용되는 데이터셋, 평가(evaluation) 프로토콜, 하류 응용을 검토한다. 마지막으로 생성 역량, 3D 표현, 데이터 및 주석, 평가의 핵심 과제를 논의하고, 더 높은 충실도, 물리 인식(physics-aware) 및 대화형(interactive) 생성, 통합 지각-생성 모델을 포함한 유망한 연구 방향을 개괄한다. 본 리뷰는 3D 장면 생성의 최근 진전을 정리하고 생성 AI, 3D 비전, 체화 지능의 교차점에서의 유망한 방향을 강조한다. 진행 중인 동향을 추적하기 위해 최신 프로젝트 페이지를 유지한다: https://github.com/hzxie/Awesome-3D-Scene-Generation.
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation
UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields
Self-Supervised Multimodal NeRF for Autonomous Driving
토론
이 논문과 연결된 포럼 글이 아직 없습니다.