AvatarReX: Real-time Expressive Full-body Avatars
원문 초록
We present AvatarReX, a new method for learning NeRF-based full-body avatars from video data. The learnt avatar not only provides expressive control of the body, hands and the face together, but also supports real-time animation and rendering. To this end, we propose a compositional avatar representation, where the body, hands and the face are separately modeled in a way that the structural prior from parametric mesh templates is properly utilized without compromising representation flexibility. Furthermore, we disentangle the geometry and appearance for each part. With these technical designs, we propose a dedicated deferred rendering pipeline, which can be executed in real-time framerate to synthesize high-quality free-view images. The disentanglement of geometry and appearance also allows us to design a two-pass training strategy that combines volume rendering and surface rendering for network training. In this way, patch-level supervision can be applied to force the network to learn sharp appearance details on the basis of geometry estimation. Overall, our method enables automatic construction of expressive full-body avatars with real-time rendering capability, and can generate photo-realistic images with dynamic details for novel body motions and facial expressions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GLOW: 동적 공위 조명·카메라로 촬영한 실내 장면의 전역 조명 인식 역 렌더링
GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera
실내 장면의 역 렌더링(inverse rendering)은 반사율(reflectance)과 조명(lighting) 사이의 모호성, 그리고 여러 객체 간 상호 반사(inter-reflection)로 인해 여전히 어렵다. 자연광 기반 방법은 이 모호성을 해소하기 어렵지만, 공위(co-located) 조명-카메라 구성은 Structure-from-Motion으로 조명을 쉽게 보정할 수 있어 반사와 조명의 분리(disentanglement)에 유리하다. 다만 이런 구성은 강한 상호 반사, 동적 그림자, 근거리 조명(near-field lighting), 이동하는 정반사 하이라이트(moving specular highlights) 등 추가적인 난점을 만들며, 기존 접근은 이를 다루지 못한다. 본 논문은 이러한 과제를 겨냥한 전역 조명(global illumination) 인식 역 렌더링 프레임워크 GLOW를 제안한다. GLOW는 신경 암시적 표면 표현(neural implicit surface representation)과 신경 복사휘(radiance) 캐시를 결합해 전역 조명을 근사하고, 신중히 설계한 정규화와 초기화로 기하(geometry)와 반사율을 공동 최적화한다. 또한 근거리 움직임에서 생기는 날카로운 조명 불연속에 맞추는 동적 복사휘 캐시와, 손전등 촬영(flashlight captures)에서 흔한 정반사 아티팩트를 줄이기 위한 표면 각도 가중 방사 측정 손실(surface-angle-weighted radiometric loss)을 도입한다. 실험 결과 GLOW는 자연광과 공위 조명 조건 모두에서 재질 반사율 추정(material reflectance estimation)에서 기존 방법을 크게 능가한다.
RehearsalNeRF: 장면 편집을 위한 동적 조명의 내재적 신경 필드 분리
RehearsalNeRF: Decoupling Intrinsic Neural Fields of Dynamic Illuminations for Scene Editing
신경 방사 필드(neural radiance fields)에서 상당한 진전이 있었음에도 불구하고, 동적 조명 변화에 관한 문제는 여전히 해결되지 않고 있다. 장면 내 시간 변이/불변 구성 요소를 매개변수화하는 관련 연구들과 달리, 피사체의 방사(radiance)는 시공간 영역에서 자체 방출 방사와 조명 색상이 심하게 얽혀 있다. 본 논문에서는 심한 조명 변화 하에서 분리된 신경 필드를 학습하는 새로운 효과적인 방법인 RehearsalNeRF를 제안한다. 핵심 아이디어는 동적 조명이 발생하기 전 리허설 무대처럼 안정적인 조명 하에 촬영된 장면을 활용하여, 서로 다른 조명 조건 간의 기하학적 일관성을 강제하는 것이다. 특히, RehearsalNeRF는 시간 차원에서 조명 색상을 나타내는 학습 가능한 벡터를 조명 효과에 적용하여 투영된 광원 색상을 장면 방사로부터 분리하는 데 사용한다. 나아가 RehearsalNeRF는 기성 인터랙티브 마스크를 간단히 적용하는 것만으로 동적 객체의 신경 필드도 재구성할 수 있다. 동적 객체를 분리하기 위해, 색상 분리에 대한 거친 감독을 제공하는 광학 흐름(optical flow)을 활용한 새로운 정규화(regularization) 방법을 제안한다. 동적 조명 조건 하에서 새로운 뷰 합성 및 장면 편집에 대한 강건한 성능을 보임으로써 RehearsalNeRF의 효과성을 입증한다. 소스 코드와 비디오 데이터셋은 공개될 예정이다.
NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집
NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field
최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/
Reflections Unlock: Geometry-Aware Reflection Disentanglement in 3D Gaussian Splatting for Photorealistic Scenes Rendering
합성 개구 초음파의 적응형 IQ 신호 잡음 제거를 위한 일관성 유도 피라미드 자기 대조 분리
Coherence-Guided Pyramid Self-Contrastive Disentanglement for Adaptive IQ Signal Denoising in Synthetic Aperture Ultrasound
합성 개구 초음파(SAU)는 배열의 인접한 소자들을 부개구로 묶어 순차적으로 송신하고, 수신된 모든 신호를 합성하여 양방향 집속을 달성한다. 그러나 고유한 전자 잡음, 사이드로브, 스페클 잡음은 여전히 SAU 영상의 임상적 해석을 어렵게 한다. 기존 잡음 제거 방법은 명시적인 잡음 가정에 의존하거나 제한된 영상 도메인에서 사전 학습되어, 복잡한 \textit{in vivo} 잡음 조건에서 불가피한 도메인 이동에 직면한다. 본 연구는 B-모드 영상 형성 이전에 개구 의존적 열화를 억제하는 적응형 IQ 신호 잡음 제거 방법을 제안한다. 각 SAU 획득에서의 부개구 이벤트를 다중 잡음 측정으로 모델링하고, 개구 간 일관성을 피라미드 자기 대조 분리(PSCD) 프레임워크에서 대조 학습의 비평자로 확장한다. PSCD는 원시 IQ 텐서를 분리된 일관적 잠재 공간과 비일관적 잠재 공간으로 인코딩한 뒤, 전자로부터만 깨끗한 IQ 신호를 복원하여 일관적인 조직 정보를 유지하면서 비일관적 잡음을 억제한다. 개구 대 개구 대리 과제가 이중 도메인에서 복원을 자기 지도한다. 전체 프레임워크는 사전 학습이나 깨끗한 레이블 없이 단일 샷 데이터를 사용하여 테스트 시점에 최적화할 수 있다. 0에서 30 dB의 잡음 수준을 포함한 시뮬레이션에서 SNR 69.3$\%$, CNR 34.4$\%$의 향상을 보였다. 여섯 가지 심초음파 단면과 복부 영상을 포함한 \textit{in vivo} 실험에서는 두 개의 부개구만으로 SNR 84.8$\%$, CNR 25.7$\%$의 향상을 보였다. 또한 PSCD는 고주파 세부 정보를 보존하면서 더 높은 영상 해상도와 경계 선명도를 달성했다. 이러한 결과는 개구 간 측정 중복성을 활용하는 적응형 IQ 신호 잡음 제거가 도메인 이동과 사전 학습 비용 없이 정밀한 해부학적 시각화를 가능하게 함을 뒷받침한다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.