PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24158v1cs.CV

시맨틱 적응형 모션-조명 반응을 활용한 재조명 가능 3D 아바타 재구성

Relightable 3D Avatar Reconstruction with Semantic-Adaptive Motion-Illumination Responses

단안(monocular) 영상으로부터 표현력이 풍부하고 재조명 가능한 3D 얼굴 아바타를 재구성하는 것은 컴퓨터 비전 분야에서 여전히 어려운 과제인데, 이는 비강체(non-rigid) 얼굴 모션과 조명 의존적 외형(appearance)을 모두 정확하게 모델링해야 하기 때문이다. 기존의 가우시안(Gaussian) 아바타 방법들은 대체로 전역적으로 결합된(globally coupled) 표현 방식에 의존하며, 이 경우 가우시안 프리미티브(primitive)들이 하나의 통합된 모션 또는 조명 반응 모델을 공유한다. 이러한 균일한 모델링은 서로 다른 얼굴 시맨틱 영역(semantic region)이 갖는 고유한 모션 패턴과 재질/반사(material/reflectance) 특성을 간과하여, 세밀한 애니메이션 정확도를 제한하고 재조명(relighting)의 사실성을 저하시킨다. 이러한 한계를 해결하기 위해, 우리는 시맨틱 적응형 모션-조명 반응 모델링을 위한 3D 가우시안 아바타 프레임워크인 SAMIRA를 제안한다. 모션 반응 모델링을 위해, 시맨틱 적응형 모션 반응(Semantic-Adaptive Motion Response) 모듈은 현재 메시에서 기준(reference) 메시로의 변위(displacement)를 토폴로지가 일관된 UV 공간으로 래스터화(rasterize)하고, 얼굴 시맨틱 정보를 활용하여 변위 특징(feature)을 시맨틱별 모듈레이터(modulator)를 통해 라우팅함으로써, 대략적인 메시 바인딩(binding)을 넘어서는 지역화된 가우시안 기하 잔차(residual)를 예측한다. 조명 반응 모델링을 위해, 시맨틱 적응형 조명 반응(Semantic-Adaptive Illumination Response) 모듈은 각 얼굴 영역에 대해 압축된 확산(diffuse) 및 반사(specular) 반응 계수를 학습하여, 서로 다른 영역의 가우시안들이 새로운 환경(environment) 조명에 맞춰 자신의 조명 반응을 적응시킬 수 있도록 한다. 이 반응 계수들은 지연 물리 기반 셰이딩(deferred physically based shading)에 통합되어, 시맨틱에 의존하는 조명 효과에 대한 경량화된 근사를 제공한다. 셀프 재연(self-reenactment), 크로스 재연(cross-reenactment), 재조명(relighting)에 대한 광범위한 실험을 통해, SAMIRA가 기존 방법들보다 세밀한 표정 재구성과 재조명 사실성을 모두 향상시킨다는 것을 입증한다.

arXiv:2606.22718v2cs.CV

생성적 재조명 가능 아바타

Generative Relightable Avatars

우리는 Generative Relightable Avatars(GRA)를 제안한다. GRA는 전신 인간의 사실적인 자유 시점 렌더링과 환경 맵(environment map) 재조명을 위한 인물 특화(person-specific) 방법이다. 우리는 세밀한 외관 세부 사항을 모델링하는 것이 본질적으로 일대다(one-to-many) 문제이며 생성적 공식화의 이점을 받을 수 있다고 가정한다. 완전 회귀적 재조명 가능 아바타 방법과 달리, GRA는 제어 가능하고 물리 기반(physics-grounded) 재조명과 확률적 정제를 결합하는 하이브리드 접근을 따른다. 추적된 애니메이션 메시에서 출발하여 UV 공간에서 재질(material) 파라미터를 최적화하고, 목표 HDR 환경 맵 하에서 거친 재조명 외관을 렌더링한다. 다음으로, 피드포워드(feed-forward) 모델로 텍스처를 정제하여 단순화된 반사(reflectance) 가정을 넘어서는 자세 의존적 텍스처 역학과 조명 효과를 포착한다. 마지막으로, 파인튜닝된 video-to-video 확산(diffusion) 모델이 물리 기반 렌더링을 3D 제어를 유지하면서 시간적으로 일관된 고해상도 비디오로 변환하며, 긴 비디오 생성을 위한 오류 재활용(error-recycling) 전략을 사용한다. 실험 평가는 기존 재조명 가능 아바타 베이스라인 대비 우리 방법의 향상된 지각적(perceptual) 품질을 보여준다. Project Page: https://vcai.mpi-inf.mpg.de/projects/GRA/

arXiv:2607.13656v2cs.CV

FreeLit: 물리 유도 확산을 통한 페어 없는 실내 재조명

FreeLit: Paired-Free Indoor Relighting via Physics-Guided Diffusion

이미지 기반 실내 장면 재조명은 복잡한 기하 구조와 국부 조명 간의 복잡한 상호작용 때문에 광원 위치, 색상, 강도를 정밀하게 모델링해야 하므로 여전히 어려운 과제로 남아 있다. 기존 데이터 기반 방법은 페어드 다중 조명 데이터셋을 통해 이 관계를 암묵적으로 학습한다. 그러나 이러한 데이터는 비용이 높고 확장하기 어려워, 정확한 광원 수준 제어에 필수적인 요소가 되지 못한다. 반면 역렌더링(inverse rendering) 방법은 물리적 사전 지식을 통합해 데이터 의존성을 줄이지만, 까다로운 조건에서 본질(intrinsic) 추정의 견고성이 부족하다. 본 논문에서는 광원 위치, 색상, 강도를 명시적으로 조작하는 제어 가능한 실내 재조명을 위한 페어 없는(paired-free) 프레임워크인 FreeLit을 제시한다. 페어 감독(supervision)에 의존하는 대신, 본질 장면 속성으로부터 물리 유도 조명 사전 지식을 구성하고, 구조화된 라이트맵(lightmap)과 의사 재조명(pseudo-relit) 이미지를 함께 생성하여 확산 기반 합성을 유도한다. 특히 저조도 장면에서 본질 추정의 불안정성을 해결하기 위해, 구조 인식 지식 증류(distillation)와 일관성 제약을 통해 조명 불변 반사율(reflectance)을 강제하는 재조명 유도 본질 안정화 전략을 도입한다. 또한 사용자가 지정한 조명 색상 및 강도와의 정렬(alignment)을 정량화하는 제어 지향 평가 지표를 제안한다. 실험 결과, FreeLit은 페어 감독 없이도 안정적이고 물리적으로 일관되며 제어 가능한 재조명을 달성하며, 저조도 실내 장면에서 견고성이 향상됨을 보여준다.

arXiv:2512.09925v2cs.CV

GAINS: 희소 다중 뷰 캡처로부터의 가우시안 기반 역 렌더링

GAINS: Gaussian-based Inverse Rendering from Sparse Multi-View Captures

최근 가우시안 스플래팅(Gaussian Splatting) 기반 역 렌더링(inverse rendering)의 발전은 가우시안 기본 요소에 셰이딩 매개변수와 물리적으로 타당한 광 전송(light transport)을 결합하여, 밀집 다중 뷰 캡처로부터 고품질 재질 복원을 가능하게 한다. 그러나 이러한 방법들의 정확도는 희소 뷰(sparse-view) 설정에서 저하되며, 제한된 관측으로 인해 기하(geometry), 반사율(reflectance), 조명(lighting) 사이에 심각한 모호성이 발생한다. 본 논문은 GAINS(Gaussian-based Inverse rendering from Sparse multi-view captures)를 제안한다. 이는 파운데이션 모델(foundation model)을 사전(prior)으로 활용해 기하 및 재질 추정을 안정화하는 2단계 역 렌더링 프레임워크이다. 본 논문의 핵심 기술적 기여는 파운데이션 모델 사전과 물리 기반(physically-based) 표현을 최적화(optimization) 체계에서 통합하는 역 렌더링 프레임워크이다. GAINS는 먼저 단안(monocular) 깊이, 법선(normal), 디퓨전(diffusion) 사전을 사용해 기하를 정제하고, 이어서 분할(segmentation), 고유 이미지 분해(intrinsic image decomposition, IID), 디퓨전 사전을 활용해 재질 복원을 정규화(regularize)한다. 합성 및 실세계 데이터셋(dataset)에 대한 광범위한 실험 결과, GAINS는 최신(state-of-the-art) 가우시안 기반 역 렌더링 방법 대비 재질 매개변수(parameter) 정확도, 재조명(relighting) 품질, 새로운 뷰(novel-view) 합성(synthesis)을 유의미하게 향상시킨다. GAINS는 4~32대 카메라로 촬영된 다양한 객체에서 전반적으로 우수한 성능을 보이며 경쟁력을 유지하지만, 개선 효과는 모호성이 크고 학습 기반 사전이 특히 유益한 희소 뷰 설정에서 특히 두드러진다. Project page: https://patrickbail.github.io/gains/

arXiv:2607.09329v1cs.CV

향상된 재질-조명 분리를 위한 동적 역렌더링

Dynamic Inverse Rendering for Enhanced Material-Lighting Decomposition

역렌더링(inverse rendering) 과정에서 표면 출사 복사휘도를 재질(material)과 조명으로 분리하는 것은 리라이팅(relighting) 및 증강 현실과 같은 응용 분야에 필수적이지만, 동일한 관측 색상을 만들어내는 조합이 여러 가지일 수 있어 심각하게 비적정(ill-posed)한 문제입니다. 여러 조명 조건에서 물체를 촬영하면 최적화를 올바른 해로 제약함으로써 이 모호성 해소에 도움이 됩니다. 본 연구에서는 다양한 빛-표면 상호작용 관측을 제공하는 강체 운동(rigid motion) 물체의 재구성 가능성을 탐구하여 역렌더링에서의 재질-조명 모호성을 해소하고자 합니다. 이를 위해 일반적인 강체 운동 물체에 대한 역렌더링과 물체 추적(object tracking) 및 재구성을 결합한 리라이팅 가능한(relightable) 접근법을 제안합니다. 합성 데이터에 대한 실험 분석은 운동이 재질과 조명의 분리에 이점이 될 수 있음을 보여줍니다: 물체가 정적일 때보다 강체 운동 하에서 관측될 때 재구성된 재질이 훨씬 더 정확합니다. 더불어, 실제 손으로 들고 있는 물체의 RGB 비디오에 대한 결과는 노이즈가 있는 실제 환경 조건에서도 본 파이프라인이 이 장점을 유지함을 보여줍니다.

arXiv:2602.01391v2cs.CV

증강 잠재 내재 특성을 통한 시각적 선험지식의 재조명 프로브

Relighting as a Probe of Visual Priors via Augmented Latent Intrinsics

이미지 간 재조명(image-to-image relighting)은 밀집 기하학, 재질, 광도학적 단서를 보존하면서 조명을 장면 속성에서 분리하는 표현을 필요로 합니다. 우리는 이 작업을 시각적 선험지식(visual priors)에 대한 프로브로 사용합니다: 불변성(invariance)에 보상을 주는 인식 작업과 달리, 재조명은 시각적 특징이 광 전달에 필요한 정보를 유지하는지 테스트합니다. 제어된 생성적 재조명 프레임워크를 통해, 우리는 강력한 의미적 인코더(semantic encoders)가 재조명 품질을 저하시킬 수 있음을 발견했으며, 이는 추상화와 물리적 충실도 사이의 의미-광도 트레이드오프(semantic-photometric trade-off)를 드러냅니다. 우리는 증강 잠재 내재 특성(Augmented Latent Intrinsics, ALI)을 소개합니다. ALI는 밀집하고 픽셀 정렬된 시각적 특징을 잠재 내재 재조명 모델에 융합하고, 레이블이 없는 실제 이미지 쌍에 대한 자기 지도(self-supervision)를 통해 이를 정제하여 이 트레이드오프의 균형을 맞춥니다. ALI는 재조명 품질을 향상시키며, 특히 광택 있는, 금속성, 그리고 투명한 재질에서 그러하며, 생성적 재조명이 시각적 인코더가 물리적 세계에 대해 무엇을 인코딩하는지 정량화하는 데 효과적인 도구임을 입증합니다.

arXiv:2606.11314v1cs.CV

TRON: 3D 가우시안 재구성을 위한 뉴럴 렌더러 조율을 위한 광선 추적

TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions

우리는 3D 가우시안 레이 트레이싱(ray tracing)과 뉴럴 렌더링(neural rendering)을 결합하여 새로운 조명, 동적 객체 움직임, 객체 삽입 및 재질 편집 하에서 실제 3D 장면의 사실적이고 제어 가능한 렌더링을 가능하게 하는 렌더링 프레임워크인 TRON을 소개합니다. 가우시안 표현의 물리 기반 렌더링(PBR)에만 의존하는 기존 접근 방식은 재구성된 기하학, 재질 추정치 및 광 전송(light transport) 추정의 불완전성으로 인해 사실적인 재조명(relighting)을 달성하는 데 어려움을 겪습니다. 동시에 뉴럴 렌더링 방법은 명시적인 장면 표현이 종종 부족하여, 세밀한 조작이 포함된 대화형 편집을 지원하는 능력을 제한합니다. TRON은 이 두 가지 패러다임을 연결합니다. 우리는 학습된 역 렌더링(inverse rendering) 모델의 내적 분해(intrinsic decomposition) 사전(priors)을 사용하여 가우시안 필드의 재질 속성을 정규화하고, 최종 픽셀이 아닌 방사측정적(radiometric) 지침을 제공하도록 레이 트레이서(ray tracer)를 재목적화합니다. 이 출력을 구조화된 3D 스캐폴드(scaffold)로 처리함으로써, 셰이딩 모델 제약 추정치와 포토리얼리스틱(photorealistic) 출력 사이의 도메인 격차를 해소하도록 가벼운 뉴럴 렌더러를 강화합니다. 우리의 핵심 통찰은 명시적인 3D 지식과 강력한 재질 사전(priors)의 결합이 속도와 제어 가능성을 제공하는 반면, 뉴럴 렌더링은 포토리얼리스틱 이미지의 합성을 가능하게 한다는 것입니다. 실제 시나리오를 지원하기 위해, 우리는 3D 재구성에서 렌더링된 210만 개의 합성 및 실제 프레임으로 구성된 새로 구축된 데이터셋(dataset)에 대한 대규모 사전학습(pretraining)과 목표 지향 미세조정(fine-tuning)으로 구성된 다단계 전략으로 뉴럴 렌더러를 학습시킵니다. TRON은 사실성 면에서 가우시안 기반 재조명 방법을, 편집 가능성과 속도 면에서 기존 뉴럴 렌더러를 능가합니다. 우리가 아는 한, TRON은 동적인 기하학, 조명 및 재질 조건 하에서 사실적인 외관을 제공하면서 캡처된 3D 환경에서 실용적인 대화형 애플리케이션을 가능하게 하는 최초의 방법입니다.

arXiv:2606.02919v3cs.CV

Pixel Cube: 현실적인 조명 재현을 통한 확산 기반 인물 동영상 리라이팅

Pixel Cube: Diffusion-based Portrait Video Relighting Through Realistic Lighting Reproduction

우리는 사실감과 시간적 일관성을 갖춘 동적 인물 동영상 리라이팅을 위한 확산(diffusion) 기반 방법을 제안한다. 본 방법은 다양한 피사체 외형, 얼굴 움직임, 머리 자세, 알려진 조명 조건을 포함하는 실제 촬영 및 렌더링된 동적 인물 동영상으로 구성된 하이브리드 학습 데이터셋을 기반으로 한다. 구체적으로, 현실적인 조명 에뮬레이션과 고속 동영상 리라이팅 데이터 수집을 위해 LED 기반 조명 시스템을 구축하였다. 사전학습된 비디오 확산 모델에 내재된 이미지 사전 정보를 활용하고, 프레임별 고동적범위(HDR) 환경 맵을 조명 제어 신호로 사용하여, 현실적이고 신원을 보존하는 동적 인물 동영상 리라이팅을 위한 고성능 생성 모델을 학습한다. 환경 맵 제어 외에도, 본 모델은 합성 배경 이미지를 활용하여 카메라의 노출 수준과 색조를 제어할 수 있다. 제안하는 모델은 주어진 새로운 환경 하에서 현실적이고 조화로운 시간적 일관성을 갖춘 리라이팅 인물 동영상을 생성하며, 피부 톤, 주름, 얼굴 털을 포함한 피사체의 표정과 세밀한 얼굴 특징을 충실히 보존한다. 본 모델은 피사체 외형, 움직임, 조명 조건 측면에서 미학습 데이터에도 우수한 일반화 성능을 보인다. 다양한 환경 맵을 사용한 실제 동영상 리라이팅에 대한 광범위한 실험을 수행하고, 인물 사진에 대한 실용적인 응용을 시연한다. 실험 결과, 본 방법은 사실감, 조명 조화, 시간적 일관성 측면에서 최첨단 성능을 달성한다.