arXiv:2001.04947

Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation

Lingjie Liu, Weipeng Xu, Marc Habermann, Michael Zollhoefer, Florian Bernard, Hyeongwoo Kim, Wenping Wang, Christian Theobalt

제출 2020-01-14

원문 초록

Synthesizing realistic videos of humans using neural networks has been a popular alternative to the conventional graphics-based rendering pipeline due to its high efficiency. Existing works typically formulate this as an image-to-image translation problem in 2D screen space, which leads to artifacts such as over-smoothing, missing body parts, and temporal instability of fine-scale detail, such as pose-dependent wrinkles in the clothing. In this paper, we propose a novel human video synthesis method that approaches these limiting factors by explicitly disentangling the learning of time-coherent fine-scale details from the embedding of the human in 2D screen space. More specifically, our method relies on the combination of two convolutional neural networks (CNNs). Given the pose information, the first CNN predicts a dynamic texture map that contains time-coherent high-frequency details, and the second CNN conditions the generation of the final video on the temporally coherent output of the first CNN. We demonstrate several applications of our approach, such as human reenactment and novel view synthesis from monocular video, where we show significant improvement over the state of the art both qualitatively and quantitatively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08016v3cs.CV공통 태그 Image-to-Image Translation, Novel View Synthesis

LightCrafter: 제어 가능하고 일관된 리라이팅을 위한 PBR 조건부 비디오 확산 정제

LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting

비디오 리라이팅(video relighting)은 장기적인 시간적 일관성과 재질, 기하학적 구조, 조명과 같은 장면의 고유 속성에 대한 정확한 추정에 기반한 물리적으로 타당한 빛 전달 이해 사이의 균형을 유지해야 합니다. 기존 방법들은 두 가지 패러다임을 따릅니다: (1) 역 렌더링(inverse rendering)을 통해 비디오의 측광적 속성을 재구성하고 물리 기반 렌더링(PBR) 또는 신경망 렌더러를 사용한 순방향 렌더링을 통해 타깃 조명으로 리라이팅하는 방식으로, 이는 노이즈가 많은 재구성 결과로 어려움을 겪으며 전역 조명(global illumination)과 같이 모델링하기 까진 효과를 처리하는 데 한계가 있습니다. (2) 이 작업을 리라이팅 타깃(타깃 환경 맵 또는 텍스트)을 조건으로 하는 생성형 비디오 대 비디오 변환(video-to-video translation)으로 구성하는 방식으로, 확산 모델이 긴 형식의 비디오를 변환하는 데 어려움을 겪기 때문에 리라이팅 제어력과 시간적 안정성이 제한되며, 입력/리라이팅 학습 쌍의 가용성에 의해 제약을 받습니다. 우리는 비디오 리라이팅을 프록시 비디오의 비디오 변환으로 재구성하는 하이브리드 파이프라인인 LightCrafter를 제안합니다. 즉, 입력 비디오를 타깃으로 직접 변환하는 대신 타깃 조명 하에서의 입력 PBR 렌더링을 최종 타깃으로 변환합니다. 이는 조명 타깃을 PBR 프록시에 내재화하여 확산 모델에 환경 맵과 같은 조명 개념을 학습시킬 필요성을 없애고, 긴 형식의 시간적 일관성을 자연스럽게 제공하면서 더욱 정교한 조명 제어를 가능하게 합니다. 우리는 PBR 렌더링 자체만으로도 이미 일부 기존 연구보다 우수한 성능을 보이지만 전역 조명과 같은 효과에는 한계가 있음을 보여줍니다. 이러한 효과를 포착하기 위해 합성 비디오 쌍과 실제 비쌍(unpaired) 비디오에서 CogVideoX를 사후 학습(post-training)하여 비디오 생성 모델의 측광학적 사전 지식을 활용합니다. 우리는 기존의 실제 리라이팅 벤치마크에서 이전의 최고 수준 성능을 능가하며, 추가 분석을 위한 합성 벤치마크를 제공합니다. 우리는 데이터셋, 벤치마크, 평가 지표 및 코드를 공개할 예정입니다.

arXiv:2609.23436v1cs.CV공통 태그 Image-to-Image Translation, Novel View Synthesis

GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택

GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting

희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.

arXiv:2607.19777v1cs.CV공통 태그 Image-to-Image Translation, Novel View Synthesis

편집하기 전에 살펴보기: 3D Gaussian Splatting 편집을 위한 어텐션 유도 카메라 배치 및 다중 뷰 정렬

Look Before You Edit: Attention-Guided Camera Placement and Multi-View Alignment for 3D Gaussian Splatting Editing

3D Gaussian Splatting(3DGS)을 이용한 텍스트 기반 3D 장면 편집은 일반적으로 고정된 학습 카메라에서 렌더링한 뷰에 2D diffusion 편집기를 적용하는 방식으로, 편집의 공간적 범위와 복잡한 장면에서 특정 객체를 타깃으로 지정하려는 사용자의 자유도를 모두 제한한다. 우리는 국소 편집을 위한 편집 카메라를 어디에 배치할지, 그리고 미세조정 후 3D 장면이 일관되게 유지되도록 뷰별 편집을 서로 일치시키는 방법이라는 두 가지 밀접하게 연관된 문제를 해결하는 프레임워크인 LB-Edit을 제안한다. 첫째, 어텐션 유도 편집 카메라 배치(Attention-Guided Editing Camera Placement, ACP)는 여러 후보 카메라 거리에서 diffusion 모델의 self-attention과 cross-attention을 탐색하여 관심 영역 내에서 어텐션이 잘 한정되는 위치를 찾고, 그 어텐션 최적 거리에 컴팩트하고 기하학적으로 다양한 편집 카메라 세트를 배치한다. 둘째, 다중 뷰 어텐션 정렬(Multi-view Attention Alignment, MAA)은 두 축을 따라 뷰 간 동일한 편집을 향하도록 편집기를 유도한다: 토큰 수준 대응을 통해 self-attention 특징을 공유하여 외관을 정렬하고, cross-attention 맵을 3D Gaussian에 올려 공유 3D 어텐션 필드로 만들어 공간적 위치를 정렬함으로써 외관 및 공간적 드리프트를 모두 억제한다. 다중 객체 및 단일 객체 장면에 대한 실험에서, 우리 방법은 편집 뷰를 단 5개만 사용하면서 기존 방법 대비 지연 시간을 최대 7배까지 줄이고, 지시 충실도, 다중 뷰 일관성, 편집 국소성에서 가장 높은 사용자 선호도를 달성함을 보여준다.

arXiv:2607.13654v1cs.CV공통 태그 Image-to-Image Translation, Novel View Synthesis

T3HG-Editor: SMPL-X에 내장된 신체 사전 정보를 활용한 텍스트 기반 3D 인간 의상 편집

T3HG-Editor: Text-driven 3D Human Garment Editing with Body Priors Embedded in SMPL-X

3D 가우시안 편집(3DGE)이 상당한 진전을 이루었지만, 텍스트 기반 3D 인간 의상 편집은 여전히 연구가 거의 이루어지지 않은 상태이다. 기존 3DGE 연구는 일반적으로 다시점 렌더링 이미지에 2D 편집 기법을 적용하고 수정된 이미지를 바탕으로 3D Gaussian을 업데이트하는 패러다임을 따른다. 이러한 방법을 3D 인간 의상 편집에 확장하면 왜곡과 의상 불일치로 인해 저품질 결과가 발생한다. 가상 인간을 위한 풍부한 사전 정보를 담고 있는 SMPL eXpressive(SMPL-X) 모델에서 유망한 돌파구를 찾을 수 있다. 이 통찰에 영감을 받아, SMPL-X에 내장된 기하 및 관절 사전 정보를 활용하여 고품질이며 의상 일관성 있는 결과를 제공하는 텍스트 기반 3D 인간 의상 편집기 T3HG-Editor를 제안한다. 구체적으로, T3HG-Editor는 편집 가능한 Gaussian 획득, 의상 일관성 편집, 그리고 오버플로우 가지치기를 수반한 Gaussian 업데이트의 세 단계로 구성된다. 편집 가능한 Gaussian 획득은 SMPL-X 법선을 따라 Gaussian을 시딩하여 충분한 근표면 Gaussian을 생성하는 것으로 시작하며, 이어 2D 마스크 제약으로 편집 대상 Gaussian을 정밀하게 국소화한다. 의상 일관성 편집은 여러 시점에서 동일한 SMPL-X 정점에 해당하는 토큰을 집계하고 원래 시점으로 전파하여 추가 학습 없이 의상 일관성을 강제한다. 오버플로우 가지치기를 수반한 Gaussian 업데이트는 SMPL-X 위에 정의된 부호 거리 함수(SDF)를 사용해 인간 거리 필드를 구성하고, 이를 2D 의미 마스크와 통합하여 넘치는 Gaussian을 가지치기함으로써 비대상 영역의 오염을 방지한다. 여러 피사체와 다양한 의상 유형에 대한 실험은 T3HG-Editor가 편집 품질과 의상 일관성 모두에서 최신 기법들보다 우수한 성능을 보임을 입증한다.

arXiv:2609.20816v3cs.CV공통 태그 Image-to-Image Translation

Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.

arXiv:2610.13503v2cs.CV공통 태그 Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.