d-itlab.c.titech.ac.jp

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.30342v1cs.CV

CapFrame: 기하학적 의사 라벨을 통한 3D Gaussian 장면에서의 텍스트 지시 시점 그라운딩

CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels

3D Gaussian Splatting(3DGS)은 사실적인 실시간 novel view synthesis를 가능하게 하지만, 원하는 프레임을 담기 위한 가상 카메라 배치는 여전히 대부분 수동이다. 3D 장면에서의 기존 언어 유도 접근은 주로 객체 중심 그라운딩에 초점을 맞춰 무엇을 볼지는 정하지만, 피사체 방향이나 프레임 레이아웃처럼 단일 프레임에서 어떻게 보여야 하는지는 거의 제어하지 못한다. 이 한계를 해결하기 위해, 텍스트 지시와 정렬되는 렌더링 프레임을 갖도록 3D Gaussian 장면에서 6-DoF 카메라 pose를 찾는 새 과제인 Text-Instructed Viewpoint Grounding(TIVG)을 제안한다. 이 과제를 위해 언어를 카메라 pose 최적화를 위한 기하학적 의사 라벨로 변환하는 부분 미분 가능 프레임워크 CapFrame을 제안한다. CapFrame은 Retrieve-Translate-Refine 파이프라인을 따른다: 관련 시점을 검색하고 MLLM을 이용한 Question-Evaluation으로 순위를 매기며, 지시를 방향 및 레이아웃 의사 라벨로 변환한 뒤, 3DGS에서 레이아웃 및 방향 손실을 포함한 미분 가능 최적화로 카메라 pose를 정제한다. 135개 지시가 있는 38개 실세계 장면에서의 실험은 CapFrame이 휴리스틱 시점 탐색 및 적응된 궤적 생성 베이스라인보다 텍스트와 더 잘 정렬된 시점을 생성함을 VLM 지표, MLLM 심사, 사용자 연구로 검증했음을 보여준다. 코드는 https://github.com/jirongli/CapFrame 에서 제공된다.