CapFrame: 기하학적 의사 라벨을 통한 3D Gaussian 장면에서의 텍스트 지시 시점 그라운딩
CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels
한국어 초록
3D Gaussian Splatting(3DGS)은 사실적인 실시간 novel view synthesis를 가능하게 하지만, 원하는 프레임을 담기 위한 가상 카메라 배치는 여전히 대부분 수동이다. 3D 장면에서의 기존 언어 유도 접근은 주로 객체 중심 그라운딩에 초점을 맞춰 무엇을 볼지는 정하지만, 피사체 방향이나 프레임 레이아웃처럼 단일 프레임에서 어떻게 보여야 하는지는 거의 제어하지 못한다. 이 한계를 해결하기 위해, 텍스트 지시와 정렬되는 렌더링 프레임을 갖도록 3D Gaussian 장면에서 6-DoF 카메라 pose를 찾는 새 과제인 Text-Instructed Viewpoint Grounding(TIVG)을 제안한다. 이 과제를 위해 언어를 카메라 pose 최적화를 위한 기하학적 의사 라벨로 변환하는 부분 미분 가능 프레임워크 CapFrame을 제안한다. CapFrame은 Retrieve-Translate-Refine 파이프라인을 따른다: 관련 시점을 검색하고 MLLM을 이용한 Question-Evaluation으로 순위를 매기며, 지시를 방향 및 레이아웃 의사 라벨로 변환한 뒤, 3DGS에서 레이아웃 및 방향 손실을 포함한 미분 가능 최적화로 카메라 pose를 정제한다. 135개 지시가 있는 38개 실세계 장면에서의 실험은 CapFrame이 휴리스틱 시점 탐색 및 적응된 궤적 생성 베이스라인보다 텍스트와 더 잘 정렬된 시점을 생성함을 VLM 지표, MLLM 심사, 사용자 연구로 검증했음을 보여준다. 코드는 https://github.com/jirongli/CapFrame 에서 제공된다.
원문 초록
3D Gaussian Splatting (3DGS) enables photorealistic real-time novel view synthesis, yet placing a virtual camera to capture a desired frame remains largely manual. Existing language-guided approaches in 3D scenes mainly focus on object-centric grounding, determining what to observe but rarely controlling how it should appear in a single frame, such as subject orientation or frame layout. To address this limitation, we introduce a new task, Text-Instructed Viewpoint Grounding (TIVG), which aims to identify a 6-DoF camera pose in a 3D Gaussian scene whose rendered frame aligns with a text instruction. To solve this task, we propose CapFrame, a partially differentiable framework that converts language into geometric pseudo labels for camera pose optimization. CapFrame follows a Retrieve-Translate-Refine pipeline: it retrieves relevant views and ranks them through a Question-Evaluation process with MLLMs, translates the instruction into orientation and layout pseudo labels, and refines the camera pose via differentiable optimization with layout and orientation losses in 3DGS. Experiments on 38 real-world scenes with 135 instructions indicate that CapFrame produces viewpoints better aligned with texts than heuristic viewpoint search and adapted trajectory generation baselines, validated by VLM metrics, MLLM judges, and user studies. Code is available at: https://github.com/jirongli/CapFrame
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.30342v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.