실세계 장면은 구성적(compositional)입니다. 벽돌, 풀잎, 자갈, 나뭇잎 등은 인간이 만든 환경과 자연환경 전반에 걸쳐 반복적으로 나타납니다. 기존의 뉴럴 장면 표현(neural scene representations)은 이러한 요소들을 독립적으로 모델링합니다. 대부분의 3D 가우시안 스플래팅(3D Gaussian Splatting) 및 후속 추상화·압축 방법들은 각 요소를 고유한 것으로 취급하여 장면당 수백만 개의 독립적인 가우시안을 피팅합니다. Splat and Replace와 같은 이전 방법들은 템플릿 객체를 피팅하지만, 반복되는 요소를 대부분 수동으로 선택해야 합니다. 그 결과, 이러한 표현 방식은 불필요하게 중복된 파라미터를 저장하며 다운스트림 태스크를 위한 조작 인터페이스(manipulation handles)가 취약합니다. 본 논문에서는 독립적인 가우시안 대신 재사용 가능한 프리미티브의 조밀한 어휘집(vocabulary)과 장면 전체에 변형된 복사본을 배치하는 경량 월드 좌표계 인스턴스로 대체하는 계층적 구성 장면 표현인 SCION을 소개합니다. 저자들은 스플랫 및 인스턴스에 대한 2단계 조밀화(densification)와 공유 프리미티브 전반의 디테일을 보존하는 적대적 손실(adversarial loss)을 결합하여, 이산 및 연속 장면 파라미터에 대한 공동 최적화(joint optimization)를 통해 다중 뷰 캡처에 이 표현을 피팅합니다. 복원된 구조는 1.2MB 크기에서도 높은 품질을 유지하면서 조밀하고 제어 가능한 표현을 제공합니다. SCION은 기존 가우시안 압축 방법 대비 유리한 율-왜곡(rate-distortion) 성능을 달성하며, 재학습 없이도 인스턴스 수준의 장면 편집 및 애니메이션을 가능하게 합니다. 본 연구 결과는 뉴럴 장면 표현이 장면을 독립적인 프리미티브로 암기할 필요 없이 재사용 가능한 부분을 발견할 수 있음을 보여줍니다. 프로젝트 웹페이지: https://light.princeton.edu/SCION
신경 방사 필드(neural radiance fields)에서 상당한 진전이 있었음에도 불구하고, 동적 조명 변화에 관한 문제는 여전히 해결되지 않고 있다. 장면 내 시간 변이/불변 구성 요소를 매개변수화하는 관련 연구들과 달리, 피사체의 방사(radiance)는 시공간 영역에서 자체 방출 방사와 조명 색상이 심하게 얽혀 있다. 본 논문에서는 심한 조명 변화 하에서 분리된 신경 필드를 학습하는 새로운 효과적인 방법인 RehearsalNeRF를 제안한다. 핵심 아이디어는 동적 조명이 발생하기 전 리허설 무대처럼 안정적인 조명 하에 촬영된 장면을 활용하여, 서로 다른 조명 조건 간의 기하학적 일관성을 강제하는 것이다. 특히, RehearsalNeRF는 시간 차원에서 조명 색상을 나타내는 학습 가능한 벡터를 조명 효과에 적용하여 투영된 광원 색상을 장면 방사로부터 분리하는 데 사용한다. 나아가 RehearsalNeRF는 기성 인터랙티브 마스크를 간단히 적용하는 것만으로 동적 객체의 신경 필드도 재구성할 수 있다. 동적 객체를 분리하기 위해, 색상 분리에 대한 거친 감독을 제공하는 광학 흐름(optical flow)을 활용한 새로운 정규화(regularization) 방법을 제안한다. 동적 조명 조건 하에서 새로운 뷰 합성 및 장면 편집에 대한 강건한 성능을 보임으로써 RehearsalNeRF의 효과성을 입증한다. 소스 코드와 비디오 데이터셋은 공개될 예정이다.
3D 가우시안 스플래팅 장면에서 수십 초~수 분에 달하는 사전 설정 단계를 완전히 제거하기 위해, SAGO는 가상 드론이 마르코프 과정 기반의 Next-Best-View(NBV) 계획을 통해 새로운 시점을 탐색하며 SAM 마스크로 배경 가우시안을 반복적으로 제거하는 설정 불필요(setup-free) 온라인 세그먼테이션 프레임워크를 제안한다. 기존 설정 불필요 방식 대비 50배 이상의 속도 향상을 달성하면서 1초 미만의 지연 시간으로 고품질 3D 에셋 추출이 가능함을 실험으로 입증하였다.