arXiv:2601.22615v3 cs.CV

TTSA3R: Training-Free Temporal-Spatial Adaptive Persistent State for Streaming 3D Reconstruction

Zhijie Zheng, Xinhao Xiang, Jiawei Zhang

제출 2026-01-30

원문 초록

Streaming recurrent models enable efficient 3D reconstruction by maintaining persistent state representations. However, they suffer from catastrophic forgetting over long sequences due to balancing historical information with new observations. Recent methods alleviate this by deriving adaptive signals from the attention perspective, but they operate on single dimensions without considering temporal and spatial consistency. To this end, we propose a training-free framework termed TTSA3R that leverages both temporal state evolution and spatial observation quality for adaptive state updates in 3D reconstruction. In particular, we devise a Temporal Adaptive Update Module that regulates update magnitude by analyzing temporal state evolution patterns. Then, a Spatial Contextual Update Module is introduced to localize spatial regions that require updates through observation-state alignment and scene dynamics. These complementary signals are finally fused to determine the state updating strategies. Extensive experiments show that TTSA3R achieves competitive performance on standard short-sequence benchmarks and provides substantially stronger robustness on extended sequences. On NRGBD, as sequences extend from 50 to 250 frames, TTSA3R exhibits only a 1.33x error increase, compared with over 4x degradation for CUT3R. This highlights the practical value of temporal-spatial adaptive updates for long-term reconstruction stability. Our code is available at https://github.com/anonus2357/ttsa3r.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.22615v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23910v1cs.RO공통 태그 3D Reconstruction, Depth Estimation, Novel View Synthesis

ReVeal: VLA 정책 평가를 위한 재구성 인식 리얼-투-심 프레임워크

ReVeal: A Reconstruction-Aware Real-to-Sim Framework for VLA Policy Evaluation

시뮬레이션 기반 평가는 비전-언어-행동(VLA) 정책의 실세계 평가에 대한 확장 가능하고 반복 가능한 대안을 제공한다. 그러나 재구성 오류는 시뮬레이션에서의 정책 성능이 실세계 성능과 어긋나게 할 수 있어, 하류 VLA 정책 평가를 위해 재구성된 환경을 평가할 필요가 있다. 우리는 작업 공간 재구성, 재구성 수준 평가, 및 대응되는 폐루프(closed-loop) 정책 평가를 결합한 리얼-투-심 평가 프레임워크 ReVeal을 제안한다. Novel-View Mesh Fidelity(NVMF)와 Annotated Planar Geometry Fidelity(APGF)는 각각 관측 및 평면 기하학적 충실도(fidelity)를 평가한다. 또한 다시점 시각 단서가 제한적인 영역에서 기하를 개선하기 위해 단안 깊이 지도(monocular depth supervision)를 통합한 재구성 파이프라인 PGSR-D를 개발한다. 8개의 평가 장면에 걸쳐 NVMF와 APGF는 2DGS, PGSR, PGSR-D의 충실도를 일관되게 구별한다. 8개의 휴머노이드 조작 과제에 대한 GR00T, SmolVLA, pi0.5의 대응 평가는 파이프라인 전반에 걸쳐 재구성 충실도와 리얼-심 성능 일치 사이에 일관된 순서 관계를 보여준다. 평가 작업 공간에 대한 추가 분석은 더 높은 충실도가 더 강한 리얼-심 일치와 연관됨을 보여준다.

arXiv:2609.22941v1cs.CV공통 태그 3D Reconstruction, Depth Estimation, Novel View Synthesis

D3GS: 희소 뷰 재구성을 위한 깊이, DINO, RGB 디퓨전 공동 가이드 3D 가우시안 스플래팅

D3GS: Depth, DINO, and RGB Diffusion Co-Guided 3D Gaussian Splatting for Sparse-View Reconstruction

희소 입력으로부터의 새로운 시점 합성(novel view synthesis)은 모호한 기하 구조, 뷰 간 불일치, 그리고 제약이 부족한 영역에서의 디테일 누락으로 인해 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)에서 여전히 어려운 과제이며, 이는 재구성 품질 저하와 불안정한 렌더링으로 이어진다. 이러한 문제를 해결하기 위해, 우리는 기하 구조와 외형(appearance)을 동시에 개선하는 Depth-DINO-Diffusion 가이드 기반 희소 뷰 가우시안 재구성 프레임워크인 D$^{3}$GS를 제안한다. D$^{3}$GS는 먼저 디퓨전 기반 완성(completion)과 DPT(Dense Prediction Transformer) 정제(refinement)를 통해 고해상도의 미터법(metric) 깊이 맵을 복원하여, 강건한 가우시안 초기화와 기하학적 제약을 제공한다. 이어서, DINO 기반 뷰 일관성 학습(view-consistent learning)을 도입하여 가우시안 속성(attribute)에 구조적 특징을 추가함으로써 다중 뷰 일관성을 향상시킨다. 마지막으로, 디퓨전 기반 가우시안 정제 모듈이 생성적 사전 정보(generative prior)를 반복적 최적화(iterative optimization) 전략에 주입하여, 가우시안 표현 내의 고주파 기하 및 외형 디테일을 향상시킨다. DTU, LLFF, Mip-NeRF 360 데이터셋(dataset)에서의 실험 결과, D$^{3}$GS는 강력한 베이스라인(baseline) 대비 일관되고 상당한 성능 향상을 달성하였으며, 어블레이션 연구(ablation study)를 통해 각 구성 요소의 효과성과 상호 보완적 역할이 검증되었다.

arXiv:2609.23436v1cs.CV공통 태그 3D Reconstruction, Depth Estimation, Novel View Synthesis

GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택

GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting

희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.

arXiv:2609.24981v1cs.CV공통 태그 3D Reconstruction, Depth Estimation, Novel View Synthesis

GAE: 3D 일관적 세계 생성을 위한 기하학 네이티브 잠재 공간 학습

GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation

우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.

arXiv:2607.20417v2cs.CV공통 태그 3D Reconstruction, Depth Estimation, Novel View Synthesis

ATSplat: 적응형 토큰 확장을 통한 컴팩트 피드포워드 3D Gaussian Splatting

ATSplat: Compact Feed-forward 3D Gaussian Splatting with Adaptive Token Expansion

3D Gaussian Splatting(3DGS)은 3D 공간에 자유롭게 배치된 프리미티브(primitive)를 최적화하고, 재구성이 부족한 영역에서 이를 적응적으로 densify하여 고품질 신규 시점 합성(novel-view synthesis)을 달성한다. 그러나 이러한 장면 적응형 용량 할당(capacity allocation)은 기존 피드포워드 3DGS 방법에서 대부분 상실되며, 이들 방법은 일반적으로 입력 픽셀에서 가우시안을 회귀(regress)하고 카메라 광선을 따라 이를 lift한다. 이러한 픽셀 정렬(pixel-aligned) 공식화는 프리미티브의 수와 배치가 장면 복잡도가 아닌 이미지 해상도와 입력 시점(viewpoint)에 의존하게 하여, 밀집하고 종종 중복적인 가우시안 집합을 초래한다. 본 논문은 적응형 3D 토큰(Adaptive 3D Tokens)을 통해 3DGS 최적화의 적응형 할당 능력을 복원하는 피드포워드 3DGS 프레임워크인 ATSplat을 제안한다. ATSplat은 먼저 coarse 패치 수준의 깊이(depth) 및 카메라 단서를 희소(sparse) 3D 앵커 토큰으로 lift하여 장면의 컴팩트한 스캐폴드(scaffold)를 구성한다. 각 토큰은 학습 가능한 3D 오프셋(offset)을 갖는 국소 가우시안으로 회귀되어, 프리미티브 배치를 입력 이미지 격자(grid)로부터 분리(decouple)한다. 적응형 토큰 확장(Adaptive Token Expansion) 모듈은 렌더링 오차 맵(rendering error map)으로 지도(supervise)되는 토큰 수준 불확실성 점수를 예측하고, 학습 가능한 확장(expansion) 레이어를 통해 높은 불확실성 토큰을 선택적으로 확장한다. 이러한 sparse-to-adaptive 공식화를 통해 ATSplat은 컴팩트한 표현을 유지하면서 어려운 영역에 프리미티브를 집중할 수 있다. RealEstate10K와 DL3DV라는 두 대표 데이터셋에서의 실험 결과, ATSplat은 밀집(dense) 피드포워드 3DGS 방법 대비 가우시안 수를 $5.7\times$ 이상 줄이면서도 최첨단(state-of-the-art) 렌더링 품질을 달성한다. $512 \times 960$ 해상도의 입력 이미지 12장으로, ATSplat은 단일 상용 GPU에서 1초 미만에 재구성을 완료하며, 311K개의 가우시안만으로 $512 \times 960$ 해상도에서 1136 FPS로 고품질 신규 시점을 렌더링한다.

arXiv:2607.23758v1cs.CV공통 태그 3D Reconstruction, Depth Estimation, Novel View Synthesis

RoadVGGT: 도로 구조 인식 피드포워드 도로 표면 재구성

RoadVGGT: Road-Structure-Aware Feed-Forward Road Surface Reconstruction

대규모 도로 표면 재구성은 고해상도 매핑, 자율주행 인식, 어노테이션, 시뮬레이션을 지원한다. 기존 도로 특화 최적화 방법은 고품질 도로 표현을 생성할 수 있지만, 일반적으로 장면별 학습과 주행 궤적 주변의 장면 의존적 커버리지 설계가 필요하여, 새로 수집된 도로에 대한 확장 가능한 재구성을 제한한다. 이러한 한계를 해결하기 위해, 테스트 시점 장면별 최적화 없이 간결한 가우시안 도로 표면을 재구성하는 도로 구조 인식 피드포워드 프레임워크인 RoadVGGT를 제안한다. RoadVGGT는 기하학적 파운데이션 모델을 사용하여 다중 뷰 이미지와 제공된 포즈 및 깊이 관측을 함께 활용하고, 학습된 가우시안 헤드를 통해 밀집한 픽셀 정렬 가우시안 속성을 예측한다. 이러한 밀집 예측을 대규모 도로 표면에 활용 가능하게 하기 위해, 일관된 미터법 세계 좌표계로 정렬하고 도로 정렬 XY 평면에서 신뢰도 가중 그리드 융합을 통해 중복 가우시안을 융합한다. 카테고리 인식 그룹화와 도로-보도 접합부 보호는 취약한 도로 구조 주변의 융합을 추가로 제어한다. 결과 표현은 RGB 및 의미론적 조감도(bird's-eye-view) 맵, 고도 추정, 새로운 시점 합성을 지원한다. RoadVGGT는 기존 방법의 장면별 최적화 필요성을 제거하고, 간결한 가우시안 표현으로 완전한 도로 표면을 재구성하며, 이미지 품질, 의미론적 매핑, 고도 정확도를 향상시킨다. 광범위한 실험은 확장 가능한 피드포워드 도로 표면 재구성을 위한 기하학적 파운데이션 모델의 잠재력을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.