PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.37654v2cs.CV

텍스처 공간 재질 디퓨전

Texture Space Material Diffusion

본 논문은 3D 객체를 위한 고품질 재질(material)을 전적으로 텍스처 공간에서 생성하는 방법을 제시한다. 우리는 텍스트 기반 재질 생성, 다중 시점(multi-view) 재질 생성, 재질 업스케일링을 위해 비디오 디퓨전 트랜스포머(video diffusion transformer)를 파인튜닝한다. 핵심 통찰은 이미지 공간에서 텍스처 공간으로의 알려진 투영(projection)을 활용함으로써, 디퓨전 프로세스가 임의의 지오메트리와 텍스처 파라미터화(texture parameterization)에 걸쳐 일반화될 수 있도록 하는 것이다. 이 접근 방식은 또한 비디오 및 다중 시점 디퓨전 모델에 내재된 시점 일관성(view consistency) 문제를 회피한다. 텍스처 공간은 2차원이기 때문에, 사전학습된 비디오 디퓨전 모델의 강력한 사전 분포(prior)를 재사용할 수 있다. 우리는 이 방법을 알려지지 않은 조명 하에서 촬영된 포즈가 지정된 사진으로부터의 고품질 재질 복원뿐 아니라, 텍스트 및 이미지 기반 재질 생성에도 적용한다. 본 방법은 고해상도(8K), 100개 이상의 입력 시점, 그리고 신경 재질 표현(neural material representation)으로 확장될 수 있다. 정량적 및 정성적 평가에서 우리는 재질 생성 및 복원에 대해 최신 기술 수준(state-of-the-art)의 결과를 보여준다.

arXiv:2404.17569v4cs.CV

MaPa: 3D 형상을 위한 텍스트 기반 사실적 재질 페인팅

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

본 논문은 텍스트 설명으로부터 3D 메시(mesh)의 재질(material)을 생성하는 것을 목표로 합니다. 텍스처 맵을 합성하는 기존 방식들과 달리, 본 연구에서는 외형 표현 방식으로 고품질 렌더링을 지원하고 편집에 있어 상당한 유연성을 제공하는 세그먼트별 절차적 재질 그래프(procedural material graph) 생성을 제안합니다. 재질 그래프와 해당 텍스트 설명이 포함된 3D 메시와 같은 대규모 쌍(paired) 데이터에 의존하여 재질 그래프 생성 모델(generative model)을 학습(training)시키는 대신, 사전학습(pre-training)된 2D 확산 모델(diffusion model)을 텍스트와 재질 그래프를 연결하는 가교로 활용할 것을 제안합니다. 구체적으로, 제안하는 접근법은 형상을 일련의 세그먼트로 분해하고 세그먼트 제어 확산 모델을 설계하여 메시 부위와 정렬된 2D 이미지를 합성합니다. 생성된 이미지를 바탕으로 재질 그래프의 파라미터를 초기화하고 미분 가능 렌더링 모듈을 통해 이를 파인튜닝(fine-tuning)하여 텍스트 설명에 부합하는 재질을 생성합니다. 광범위한 실험을 통해 제안 프레임워크가 사실성(photorealism), 해상도 및 편집 가능성 측면에서 기존 방식들보다 우수한 성능을 보임을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/MaPa