arXiv:2105.00125

Sparse Pose Trajectory Completion

Bo Liu, Mandar Dixit, Roland Kwitt, Gang Hua, Nuno Vasconcelos

제출 2021-05-01

원문 초록

We propose a method to learn, even using a dataset where objects appear only in sparsely sampled views (e.g. Pix3D), the ability to synthesize a pose trajectory for an arbitrary reference image. This is achieved with a cross-modal pose trajectory transfer mechanism. First, a domain transfer function is trained to predict, from an RGB image of the object, its 2D depth map. Then, a set of image views is generated by learning to simulate object rotation in the depth space. Finally, the generated poses are mapped from this latent space into a set of corresponding RGB images using a learned identity preserving transform. This results in a dense pose trajectory of the object in image space. For each object type (e.g., a specific Ikea chair model), a 3D CAD model is used to render a full pose trajectory of 2D depth maps. In the absence of dense pose sampling in image space, these latent space trajectories provide cross-modal guidance for learning. The learned pose trajectories can be transferred to unseen examples, effectively synthesizing all object views in image space. Our method is evaluated on the Pix3D and ShapeNet datasets, in the setting of novel view synthesis under sparse pose supervision, demonstrating substantial improvements over recent art.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13503v2cs.CV공통 태그 Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2607.03875v2cs.CV공통 태그 Novel View Synthesis

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.14203v2cs.GR공통 태그 Novel View Synthesis

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2606.30058v2cs.CV공통 태그 Novel View Synthesis

실환경 비디오로부터의 공유 정준 객체 프레임 창발

Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

서로 다른 인스턴스 간에 객체의 방향과 위치를 비교하려면 그 자세를 공유된 정준(canonical) 좌표계로 표현해야 한다. 이러한 좌표계를 설정하는 데에는 전통적으로 수작업 주석이 필요했으며, 이는 범주와 인스턴스 다양성을 제한하는 확장성 병목을 만든다. 우리는 야외에서 촬영된 강체의 객체 중심 비디오에 대해, 구조-운동 복원(Structure-from-Motion)에서 얻은 잡음 섞인 카메라 자세만을 사용하는 자기지도 학습으로 공유 정준 좌표계가 대신 창발할 수 있음을 보인다. 핵심 아이디어는 모든 학습 시퀀스를 공유 기하 병목, 즉 범주별 세부 정보를 전혀 담지 않은 조악한 정준 메시를 통과시키는 것이다. 이미지 픽셀에서 이 메시로의 조밀한 대응을 학습하고 잡음 섞인 SfM 기하로부터 시퀀스별 정렬을 추정함으로써, 정준 자세 레이블이나 범주 조건 없이도 다중 시점 일관성과 특징 추출기의 의미적 사전 지식으로부터 공통 정준 좌표계가 창발한다. ${\sim}160{,}000$개의 야외 객체 비디오로 자기지도 방식으로 학습한 우리의 방법은, 정준 자세 지도에 의존하는 방법들과 비교하여 범주 수준 자세 추정 벤치마크에서 경쟁력 있는 정확도를 달성한다. 코드와 체크포인트는 \href{https://github.com/Fischer-Tom/Emergent-Canonical-Frame/}{github.com/Fischer-Tom/Emergent-Canonical-Frame/}에서 확인할 수 있다.

arXiv:2607.01164v2cs.LG공통 태그 Novel View Synthesis

정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델

Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes

최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.

arXiv:2606.18588v2cs.DC공통 태그 Novel View Synthesis

Splaxel: 픽셀 수준 통신을 통한 대규모 장면 재구성을 위한 3D Gaussian Splatting의 효율적인 분산 학습

Splaxel: Efficient Distributed Training of 3D Gaussian Splatting for Large-scale Scene Reconstruction via Pixel-level Communication

3D Gaussian Splatting(3DGS)은 고충실도(high-fidelity) 및 실시간 3D 장면 재구성을 가능하게 하지만, 대규모 장면으로 학습(training)을 확장하려면 여러 GPU에 걸쳐 수억 개의 가우시안(Gaussian)을 최적화해야 합니다. 기존의 분산 접근 방식은 장면을 격리된 영역으로 분할하여 전역적 불일치(global inconsistency)를 유발하거나, 전역적 가우시안 수준 교환에 의존하여 GPU 간 통신이 급격히 증가하고 반복(iteration) 시간을 빠르게 지배하게 만듭니다. 우리는 픽셀 수준의 로컬 렌더링(local rendering)과 전역 합성(global composition)에 기반한 통신 효율적인 분산 3DGS 학습 프레임워크인 Splaxel을 제안합니다. 가우시안을 동기화하는 대신, 각 GPU는 로컬 부분 집합을 렌더링하고 부분적인 픽셀 값만 교환하며, 이는 장면 크기가 증가해도 통신 비용을 안정적으로 유지하면서 수학적 일관성을 유지합니다. Splaxel은 기하학적 및 투과율 가시성 예측(visibility prediction)을 통해 픽셀 수준의 중복성을 추가로 줄이고, 충돌 없는 카메라 뷰 통합(consolidation)을 통해 GPU 활용도를 향상시킵니다. 최대 1억 2천만 개의 가우시안이 포함된 대규모 데이터셋에서 평가한 결과, Splaxel은 높은 재구성 품질을 유지하면서 최첨단(state-of-the-art) 분산 3DGS 프레임워크 대비 최대 7.6배의 속도 향상을 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.