물리적 3D 생성의 최근 발전은 시뮬레이션 가능한 기계적 거동을 갖춘 시각적으로 충실한 에셋 생성을 가능하게 했습니다. 그러나 기존 방법들은 외형 기반 추론(inference)을 넘어선 재질 거동에 대해 제한적인 제어만을 제공하며, 물체와 의미론적 부품 간의 복잡한 상호작용으로부터 물리적 특성을 추정하는 데 어려움을 겪습니다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 재질 제어 가능한 물리 피팅과 컴포넌트 수준의 상호작용 모델링을 위한 상호보완적인 두 가지 모듈로 구성된 비디오 확산 모델(Video Diffusion Model, VDM) 기반 프레임워크인 PhysForge를 제안합니다. 첫 번째 모듈인 PhysFit은 재질 조건화 VDM 동역학을 물리적 특성 피팅의 참조로 활용하며, 재질 특성을 드러내는 상호작용에 집중하기 위한 윈도우 피팅과 VDM이 생성한 비물리적 환각(hallucination) 모션을 재질 응답으로부터 분리하기 위한 Hallucinated Forcing을 도입합니다. 두 번째 모듈인 PhysComp는 복잡한 상호작용을 개별 객체와 의미론적 컴포넌트로 분해하여, 물리적 매개변수를 독립적으로 최적화하고 결합 시뮬레이션을 위해 유연하게 구성할 수 있도록 지원합니다. PhysAssets 및 Google Scanned Objects에 대한 실험을 통해 기존 방법과 비교하여 PhysForge가 복잡한 상호작용을 위한 컴포넌트 수준의 물리 모델링을 지원하는 동시에 재질 의존적 물리 응답에 대해 더 강력한 제어력을 제공함을 입증합니다. 본 방법은 흔한 재질과 흔하지 않은 재질 모두에서 최고의 CLIP 및 물리적 제어 가능성 점수를 달성했으며, 정성적 비교, 컴포넌트 수준의 소거 연구, 사용자 연구를 통해 이러한 개선 효과를 추가로 뒷받침합니다. 프로젝트 페이지는 https://masterwanna.github.io/PhysForge.html 에서 확인할 수 있습니다.
고동적범위(High Dynamic Range, HDR) 영상은 장면의 광도(scene radiance)를 풍부하고 충실하게 표현하지만, 생성 모델이 학습되는 유계(bounded)이며 지각적으로 압축된 데이터와의 불일치로 인해 생성 모델에게 여전히 까난한 과제로 남아 있습니다. 자연스러운 해결책은 HDR을 위한 새로운 표현을 학습하는 것이지만, 이는 추가적인 복잡성과 데이터 요구량을 수반합니다. 본 연구에서는 사전학습된 생성 모델이 이미 포착한 강력한 시각적 사전 지식(visual priors)을 활용함으로써 훨씬 단순한 방식으로 HDR 생성을 달성할 수 있음을 보여줍니다. 저자들은 영화 제작 파이프라인에서 널리 쓰이는 로그 인코딩(logarithmic encoding)이 HDR 영상을 이러한 모델들의 잠재 공간과 자연스럽게 정렬(align)되는 분포로 매핑하여, 인코더를 재학습하지 않고도 경량 미세조정을 통한 직접적인 적응을 가능하게 한다는 점을 관찰했습니다. 또한 입력에서 직접 관찰할 수 없는 세부 정보를 복원하기 위해, 모델이 학습된 사전 지식으로부터 누락된 고동적범위 콘텐츠를 추론하도록 유도하는 카메라 모방 열화 기반 학습 전략을 도입합니다. 이러한 통찰을 결합하여 최소한의 적응만으로 사전학습된 비디오 모델을 사용해 고품질 HDR 비디오 생성을 입증하였으며, 다양한 장면과 까다로운 조명 조건 전반에서 우수한 결과를 달성했습니다. 본 결과는 표현 방식이 학습된 사전 지식과 정렬되도록 선택된다면, HDR이 근본적으로 다른 영상 형성 체계를 나타냄에도 불구하고 생성 모델을 재설계하지 않고도 효과적으로 다룰 수 있음을 시사합니다.
명시적인 3D 동작에 대해 지도학습을 거치지 않았음에도, 대규모 텍스트-비디오 확산 모델(text-to-video diffusion models)은 생성된 비디오 내에서 사실적인 인체 동작을 합성합니다. 본 연구에서는 별도의 동작 모델을 학습(training)하지 않고도 이러한 암묵적 지식을 명시적인 3D 동작 생성으로 전환할 수 있는지 질문합니다. 고정된 Wan2.1을 탐색한 결과, 깨끗한 출력물에만 국한되지 않고 전체 디노이징 스케줄(denoising schedule)에 걸친 중간 상태 전반에 복구 가능한 동작 신호가 존재함을 확인했습니다. 이에 착안하여, 독립된 생성기를 통해 동작을 생성하는 대신 호스트 모델(model)의 디노이징 스케줄을 따라 동작을 디코딩하는 패러다임인 기생적 공동 디노이징(parasitic co-denoising)을 제안합니다. 이를 호스트의 노이즈 스케줄을 공유하며 호스트를 수정하지 않은 채 $\sigma$-적응형 다층(multi-layer) 융합을 통해 중간 특징을 읽어오는 효율적인 플로우 매칭(flow-matching) 디코더인 Parasitic Motion Decoder(PMD)로 구현합니다. 동작 데이터 대신 호스트로부터 표현 범위를 이끌어내는 PMD는 전용 동작 생성기 학습 가능 파라미터의 극히 일부만을 사용하면서도 텍스트-동작 정렬(alignment)에서 이들을 앞서며, 동작 전용 베이스라인 모델들이 달성할 수 없는 비디오 및 동작 쌍 생성을 단일 패스로 동시에 수행합니다.